总结一个今天的学习过程
1,上午继续尝试昨天的问题:客户端putty登陆远程windows不能输入命令的问题:
可以说是坎坷的不行:原因是安装freesshd软件时,最后一个是否选择问题:是否以系统服务的方式启动,这里选择否,千万不要选择是,这样就可以在登陆后在输入框中输入命令了(这事王师兄替我尝试安装,他本人潜意识不喜欢系统服务的方式,尝试成功了,才找到原因,也是醉了)
接下来又面临了一个坑:使用bat操作js脚本调用客户端的putty链接远程windows,能登陆,但不能将命令脚本发送到putty窗口上,哎 悲催
结果:选择搁置,大脑受不了了
2,下午以及晚上就继续尝试学习Python
复习了隔了好几天没学的数据库编程:SQLIT、MongoDB、MySQL
安装scrapy
scrapy是一个大的整体(个人认为),参考安装连接http://blog.csdn.net/qy20115549/article/details/52528896
自己的安装过程
注意安装pywin32时,对于Python3.6的朋友来说:可能会因为找不到注册表信息
安装pywin32
到网址下载
https://nchc.dl.sourceforge.net/project/pywin32/pywin32/Build%20221/pywin32-221.win-amd64-py3.6.exe
注意221这个对于3.6版本的好用 220这个不好使
使用scrapy bench命令验证自己的安装是否齐全
3,学习了Python的基本概念
按着网上的教程尝试写了一个小的爬虫案例,并将结果存储到sss.csv文件中,json等其他文件格式,大该七八中格式
4 使用scrapy创建一个工程
cd到一个目录
scrapy startproject tutorial
cd tutorial
scrapy genspider csdn_spider blog.csdn.net
编写items、csdn_spider piplines没有修改
scrapy crawl dmoz_spider
可惜的是csdn好像不能爬虫下来文章
shell
先进入网页
scrapy shell
http://blog.csdn.net/system/newarticle.html
使用response.xpath('/html/body/div[5]/div[1]/div[1]/dl[1]/dd/div[1]')
课查看验证爬取的内容
5 使用了xpath css re extract四种方法尝试抓取不同标签的文本
6,piplines:数据去重、数据清洗、数据存储如json、MongoDB。只是仅仅了解了概念,还没实践
明天加油,又是美好的一天