- 博客(6)
- 收藏
- 关注
RSS订阅原创 线程模型优缺点
1.用户级线程模型的优缺点:优点：由于线程调度是在用户层面完成的，也就是相较于内核调度不需要让 CPU 在用户态和内核态之间切换，这种实现方式相比内核级线程可以做的很轻量级，对系统资源的消耗会小很多，因此可以创建的线程数量与上下文切换所花费的代价也会小得多。缺点：不能做到真正意义上的并发，假设在某个用户进程上的某个用户线程因为一个阻塞调用（比如 I/O 阻塞）而被 CPU 给中断（抢占式调...
2020-03-15 13:39:50
793
原创 php 操作Elasticsearch6版本带有type的教程
1.用composer下载elasticsearch es库地址：https://packagist.org/packages/elasticsearch/elasticsearch2.连接esuse Elasticsearch\ClientBuilder;require 'vendor/autoload.php';//code...$host = array( ...
2020-03-15 13:19:19
840
原创 go slice 参数传递过去 修改之后 外部变量也会被修改的问题详解
go语言中 slice当作参数传递的时候 会将slice本身指针的值copy一份传递过去，但是由于slice本身指针的值也是一个指针，所以当原地修改这个slice本身的值的时候会发生外部的值一起被改的情况。示例func SliceTest(str []string) { for k,v :=range str{ str[k] =1 //外部slice会发生改变 s...
2020-01-09 16:08:41
642
原创 python fake_useragent 报错问题解决方法
这个问题的原因是因为请求不到这个网址，然后导致无法下载fake_useragent_0.1.11.json 这个文件一般来说这个json存储在tmp文件夹下边 因为系统会定时清除tmp文件的内容，所以建议像示例那样放到其他文件夹。首先是因为缺少了这个json 导致远程下载时访问网址然后访问不到 无法下载 导致的 ，所以我们可以手动下载这个json 放到指定目录。wget https://...
2020-01-03 10:31:07
2608
3
原创 Python 使用xpath匹配html内容并生成CSV文件
#-- coding: utf-8 --import osimport reimport csvfrom lxml import html#生成CSV文件def get_list_dir(): headers = ('标题', '内容', '来源', '时间', '作者') with open('D:/Python/PythonProjects/TestDemo/art...
2020-01-03 10:05:06
283
原创 Scrapy爬虫使用布隆过滤过滤重复URL scrapy-redis-bloomfilter-block-cluster redis集群化
Scrapy爬虫使用布隆过滤过滤重复URL scrapy-redis-bloomfilter-block-cluster redis集群化首先安装布隆过滤器设置爬虫的settings.py首先安装布隆过滤器pip install scrapy-redis-bloomfilter-block-cluster设置爬虫的settings.py# 确保使用此调度程序SCHEDULER = "sc...
2019-12-12 15:32:12
801
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人