Python网络爬虫学习scrapy(一)

总结一个今天的学习过程

1，上午继续尝试昨天的问题：客户端putty登陆远程windows不能输入命令的问题：

     可以说是坎坷的不行：原因是安装freesshd软件时，最后一个是否选择问题：是否以系统服务的方式启动，这里选择否，千万不要选择是，这样就可以在登陆后在输入框中输入命令了（这事王师兄替我尝试安装，他本人潜意识不喜欢系统服务的方式，尝试成功了，才找到原因，也是醉了）

    接下来又面临了一个坑：使用bat操作js脚本调用客户端的putty链接远程windows，能登陆，但不能将命令脚本发送到putty窗口上，哎 悲催

    结果：选择搁置，大脑受不了了

2，下午以及晚上就继续尝试学习Python

    复习了隔了好几天没学的数据库编程：SQLIT、MongoDB、MySQL

    安装scrapy

     scrapy是一个大的整体(个人认为)，参考安装连接http://blog.csdn.net/qy20115549/article/details/52528896  

    自己的安装过程

    

      注意安装pywin32时，对于Python3.6的朋友来说：可能会因为找不到注册表信息   

      安装pywin32

      到网址下载 https://nchc.dl.sourceforge.net/project/pywin32/pywin32/Build%20221/pywin32-221.win-amd64-py3.6.exe

      注意221这个对于3.6版本的好用 220这个不好使

使用scrapy bench命令验证自己的安装是否齐全

3，学习了Python的基本概念

    按着网上的教程尝试写了一个小的爬虫案例，并将结果存储到sss.csv文件中，json等其他文件格式，大该七八中格式

 4   使用scrapy创建一个工程

cd到一个目录

scrapy startproject tutorial 

cd tutorial

scrapy genspider csdn_spider blog.csdn.net

编写items、csdn_spider piplines没有修改

scrapy crawl dmoz_spider

可惜的是csdn好像不能爬虫下来文章

shell

先进入网页

scrapy shell  http://blog.csdn.net/system/newarticle.html

使用response.xpath('/html/body/div[5]/div[1]/div[1]/dl[1]/dd/div[1]')

课查看验证爬取的内容

5  使用了xpath css re extract四种方法尝试抓取不同标签的文本

6，piplines：数据去重、数据清洗、数据存储如json、MongoDB。只是仅仅了解了概念，还没实践

明天加油，又是美好的一天