![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
jj_千寻
qq:425776024
展开
-
python爬虫-1环境安装
1.基本配置的安装Linux1.1Mongodb执行安装命令:sudo apt-get install mongodb通过"pgrep mongo -l"查看进程是否已经启动。运行“locate mongo”命令查看系统默认把mongo装到了哪里。输入mongo进入数据库:如果是系统非正常关闭,这样启动会报错,由于mongodb自动被锁上了,这是需要进入m...原创 2019-04-02 10:05:24 · 238 阅读 · 0 评论 -
Scrapy创建工程
创建工程:scrapy startproject news163Program创建爬虫模板:scrapy genspider movieent.163.com/movie就会在spiders目录下生成movie文件:启动运行:在工程根目录执行scrapy crawl movie或者写成代码执行:from scrapy import cmdlineimport os...原创 2019-05-21 17:52:28 · 375 阅读 · 0 评论