爬虫
jj_千寻
qq:425776024
展开
-
python爬虫-1环境安装
1.基本配置的安装Linux 1.1Mongodb 执行安装命令: sudo apt-get install mongodb 通过"pgrep mongo -l"查看进程是否已经启动。 运行“locate mongo”命令查看系统默认把mongo装到了哪里。 输入mongo进入数据库: 如果是系统非正常关闭,这样启动会报错,由于mongodb自动被锁上了,这是需要进入m...原创 2019-04-02 10:05:24 · 239 阅读 · 0 评论 -
Scrapy创建工程
创建工程:scrapy startproject news163Program 创建爬虫模板:scrapy genspider movieent.163.com/movie 就会在spiders目录下生成movie文件: 启动运行:在工程根目录执行scrapy crawl movie 或者写成代码执行: from scrapy import cmdline import os...原创 2019-05-21 17:52:28 · 376 阅读 · 0 评论