python
cencfeng11
苦力苦力
展开
-
python读取txt数据写入excel
在公司接到一个任务,从txt中抓取数据写入excel,txt格式固定,并且有多个txt文件先安装excel的读写支持,参考:https://www.cnblogs.com/cllovewxq/p/5363636.html就是下载xlrd和xlwt,进入该目录分别运行python setup.py install,这个程序只用到写入操作--xlwt思路: 逐个打开txt文件,抓原创 2018-01-08 09:23:10 · 8949 阅读 · 0 评论 -
简单爬虫
简单的爬虫爬糗百,需要的工具:BeautifulSoup,安装自己百度先从爬一页开始:首先,要伪装成浏览器,简单的是添加一个headers,我把它封装成一个函数:def getHTML(url): headers = {'User-Agent': 'User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) A原创 2018-01-10 10:15:17 · 218 阅读 · 0 评论 -
python beautifulsoup 爬出智联
参照:http://blog.csdn.net/beyond_f/article/details/73974918智联上搜索职位的时候有很多很多参数,我也不想去一一探究它的含义,我的做法是打开智联按照自己的查询条件搜索,然后copy它的url,页数自己改.用到bs4,xlwt先安装好.步骤:1.给url添加headers,这里我定义了方法 def g def getHTML(s原创 2018-02-06 15:36:08 · 319 阅读 · 0 评论 -
python写入mysql报错Incorrect string value:XXX for column 'XXX' at row 1
在爬数据写入mysql的时候会报这个错误,偶尔又能正常写入在网上找到一篇文章:https://blog.csdn.net/hhtnan/article/details/76769264按照文中所述:是因为mysql不能识别4个字节的utf8编码的字符,抛出了异常,这应该也是问题的根源。☺、��、类似于这种4个字节,将对应字符类型换成将对应的数据类型改为utf8mb4类型于是修改该字段如下:设置成u...原创 2018-05-09 16:48:52 · 1238 阅读 · 0 评论