Scrapy
计算机动物
程序人生
展开
-
Scrapy.FormRequest post请求中 formdata的问题
最开始只是把抓包得到的字典里的数据直接扔到formdata中,然后会报错:to_bytes must receive a unicode, str or bytes object, got int字典里的是不可以出现整型数字的!数字也要按照字符串去写!formdata字典中的数据必须是unicode , str 或者 bytes object...原创 2018-04-18 14:53:42 · 2898 阅读 · 1 评论 -
数据库的字符串连接问题
今天要搞定一个数据库里no值缺失的问题,no值是一个依靠别的字段生成的MD5,开始就很简单找一下no为空的数量select count(id) from cnp_all.all where no is null (结果是6100条)然后就把相关的字段组合成字符串生成MD5替换掉啊:UPDATE cnp_all.all set no = MD5(CONCAT(c, b, l, p, conten...原创 2018-05-23 14:56:22 · 194 阅读 · 0 评论 -
搭建一个新闻推荐网站(一)
起因 因为平时很喜欢看新闻,而且关注的媒体大概有国内外六个左右(“兼听则明”吗,哈哈哈)。这就导致我每天都要通过APP、网页去获取新闻有些浪费时间,来回切换还很费事。。。所以就产生搭建一个自己的新闻网站的想法,写一个普通的新闻网站也没什么意思,所以决定搞一个推荐式的。项目的总体思路首先你需要有这些新闻数据,而且每天都会更新。你可以用一个简单的request或者urllib去获取数据,不过那...原创 2018-06-21 15:51:03 · 3252 阅读 · 5 评论