- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Scrapy爬取知乎用户信息
使用Scrapy递归爬取知乎用户信息分析知乎网页的具体过程就不一一道来了。 1，因为知乎会检查User-Agent，所以首先在scrapy的seettings.py 中，设置ROBOTSTXT_OBEY = False，然后取消DEFAULT_REQUEST_HEADERS的注释，在这中间加入，User-Agent头部信息进行测试后发现还是不行。需要加入authorization参数，这个的...
2018-04-22 17:20:16
236
原创 根据关键词抓取淘宝信息
根据关键词抓取淘宝信息1，selenium MongoDB PhantomJS .etc 2，一共定义了四个函数： 各自功能如下：search_keyword：搜索关键字并返回总页数get_infomation：获取单条信息next_page：实现翻页效果save_to_mongodb：保存到MongoDB四个函数间，有一定的调用关系。具体参考代码： 附：sele...
2018-04-22 16:41:50
1394
原创 在Centos7云服务器上使用Nginx，uwsgi，部署Django项目
Django项目部署到云服务器花了好长时间才搞定的，这路上到处都是坑呀1，准备工作：①，需要一台云服务器，我用的是腾讯的云服务器。系统：Centos 7，其实都差不多。 ②，所需软件。为了避免出错，尽量使服务器上的环境跟开发环境相同。比如我在Windows上使用的是Python3.6.0，Django 1.11，数据库使用的是MySQL5.7，等等。总而言之，尽量保持环境一致，能...
2018-04-13 16:36:09
1590
原创 Django全文检索及中文分词
1.首先安装haystack、whoosh、jieba，pip install django-haystack pip install whoosh pip install jiebahaystack: django的一个包，可以方便地对model里面的内容进行索引、搜索。设计为支持whoosh，soir，Xapian，Elasticsearc四种全文检索引擎后端，属于一种全文检索的框...
2018-04-11 20:54:44
1049
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人