- 博客(8)
- 问答 (2)
- 收藏
- 关注
原创 修改multiple select 的选中某个option时的效果
select[multiple] option:checked { width: 500px; }以上代码的作用为将复选栏的option选项被选中时的转变范围(比如变色)变宽
2020-06-02 09:28:41 543
原创 scrapy项目中的备忘
在使用genspider 命令时生成的名字就是name 属性,同时在运行cdm命令的时候也是使用这个名字作为参数。例如:scrapy runspider douban.pyMiddlewares 定义:介于Scrapy引擎和爬虫之间的框架,主要工作是处理蜘蛛的响应输入和请求输出。...
2020-03-17 11:35:24 172
原创 php踩坑日记
echo : 输出一个或多个字符串print : 输出简单变量的值,如int,string类型变量的值print_r : 输出比较复杂类型的值,如数组,对象(转自https://blog.csdn.net/qq_36431166/article/details/83317002)...
2020-03-12 17:28:23 199
原创 简历上的项目回顾(基于beautifulsoup的爬虫)
首先加上请求头,这里的请求头是firefox浏览器。爬取的信息主要通过beautifulsoup 的find 和findall函数获取。将网页以lxml的形式解析首先,由于菜谱的照片中包含了菜品名称,所以直接在照片标签中获取alt属性和src属性即可。其他信息基本上都可以通过具体的id或class区别开来其中步骤图片的爬取是通过具体width值筛选img标签,然后再提取出src...
2018-11-20 17:57:31 1409
原创 scrapy 中yield的作用
yield 和return 都有返回数据的作用,最主要的不同在于yield在返回值后还可以继续运行接下来的代码,而return在返回后就不在执行代码。在scrapy中,爬取的数据量往往十分巨大,如果使用return和list存储之后在一次性返回将带来巨大的内存消耗。而yield可以在返回一组数据后再处理下一组数据,大大减少了内存的浪费。...
2018-11-19 13:23:01 2294
原创 第一个scrapy程序遇到的问题
1 no module name items这里可以使用框架自带的命令操作,实验证明不会出这种错scrapy gensipder sipder baidu.com这里的spider 为爬虫名字,baidu.com为网站域名。错误可能源于(1)import xxx,应该为from xxx import xxx (2)重新命名模块,名...
2018-11-15 21:41:14 456
原创 查漏补缺 (网络)
www服务、email服务、ftp(File Transfer Protocol 文件传输协议)服务都属于internet标准的应用服务FTP属于应用层协议按照机构区分的域名原来有 7个 :com(商业机构)、net(网络服务机构)、gov(政府机构)、mil( 军事 机构)、org(非盈利性组织)、edu(教育部门)、int(国际机构)。双绞线的诞生是为了减少信号间的干扰。集线...
2018-10-22 14:59:25 275
原创 安装scrapy 遇到的问题
scrapy是由twisted做为基础编写的春python框架,所以在安装时需要先下载有关的twisted文件(实践时发现32位的安装包才能使用)。而不是像报错备注中那样下载visual C++。...
2018-10-13 20:31:52 172
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人