![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python,网络爬虫
化茧成蝶007
从事Linux下的开发,熟悉shell,Python,c++,c,目前学习qt开发
展开
-
python浏览器伪装技术
整理的python在进行爬虫时,进行浏览器伪装import urllib.requestimport http.cookiejarurl= "http://news.163.com/16/0825/09/BVA8A9U500014SEH.html"#以字典的形式设置headersheaders={ "Accept":" text/html,application/xhtml+xml,a原创 2017-11-28 22:50:51 · 423 阅读 · 0 评论 -
Scrapy全局指令和项目指令总结
1、全局命令scrapy -h 查看全局命令1)fetch 命令主要用来显示爬虫的过程显示爬取百度的首页scrapy fetch http://www.baidu.com2) --header --nolog 参数控制了展现爬虫爬取新闻的首页的头信息,和不显示日记信息 scrapy fetch --header --nolog http://news.sina原创 2017-12-30 22:26:08 · 328 阅读 · 0 评论 -
Can’t connect to HTTPS URL because the SSL module is not available
import requestsresponse = requests.get('http://www.jianshu.com')在response时,无法返回,报错Can’t connect to HTTPS URL because the SSL module is not available解决办法:sudo apt-get install libssl-devsudo a原创 2018-01-09 21:59:37 · 18951 阅读 · 2 评论 -
python 爬虫项目-爬取猫眼top100电影
通过自己实践,完成了一个简单的爬取项目,爬取项目猫眼top100排名的电影信息将创建的代码上传到了github上,供搭建参考,和指出错误,谢谢https://github.com/Guazhen/maoyan_top100/tree/master/maoyantop100原创 2018-02-04 23:05:44 · 1654 阅读 · 0 评论 -
32个Python爬虫项目让你一次吃到撑【转载】
最近发现一个比较全面的python爬虫框架,慢慢学习咯http://blog.csdn.net/nzjdsds/article/details/77506254转载 2018-02-22 23:34:54 · 932 阅读 · 2 评论 -
Redis Desktop Manager连接Windows和Linux系统上的Redis服务
最近遇到了一个问题,Redis Desktop Manager如何连接远程的服务器的redis,教程详细解释https://yq.aliyun.com/articles/485359转载 2018-03-10 11:25:47 · 393 阅读 · 0 评论