网络爬虫
慕虞
这个作者很懒,什么都没留下…
展开
-
关于UnicodeDecodeError 问题整理
关于UnicodeDecodeError整理今天做浏览器模拟登陆,当用户名是中文时,出现关于UnicodeDecodeError的两个问题。开始是中文不能编码成utf8,后面再博文指导下,修改之后出现不能编码为ascii。1,当代码中是中文时,如下图:代码第34行出现中文。编译后出现问题为:不能编译为utf-8格式UnicodeDecodeError: 'utf8' codec can'...原创 2018-10-12 21:08:48 · 418 阅读 · 1 评论 -
批量删除mysql字段中相关的内容,对字段中字符串进行处理
使用语法如下:update askingset doctor_imformation=replace(doctor_imformation,"职称","")where id between 3438 and 57588;语法解释:asking为所做的表;doctor_imformation是所在表的字段;replace(字段,“被代替内容”,“代替内容”)where是选择条件,本...原创 2018-12-15 16:34:27 · 924 阅读 · 0 评论 -
mysql批量删除指定字符前的内容,删除某个字符之前的字符串
参考博文为(https://blog.csdn.net/wzx19840423/article/details/77507772)instr()函数参考博文为:https://www.cnblogs.com/dshore123/p/7813230.htmlleft(),right()函数参考博文为:https://blog.csdn.net/qq_27495157/article/detail...原创 2018-12-15 22:14:57 · 5285 阅读 · 1 评论 -
如何删除mysql数据库某张表中完全重复数据
对于删除数据表中某个字段重复的内容,使用语法具体如下:delete from 表名 where 自增字段名 not in(select bid from(select min(自增字段名) as bid from 表名 group by 字段名) as b);具体例子如下:delete from position where id not in(select bid from(select...原创 2018-12-22 16:40:41 · 1019 阅读 · 0 评论 -
如何使用mysql workbench进行命令行操作,并筛选数据库
1,先选择数据库和数据表,选择了health这个数据表:其中,ai-health为数据库,health为数据表。2,对命令行进行输入命令操作:选择的为health这个数据表,输入上面那行命令之后,按下ctrl+enter,会出现执行结果,其中结果如下图所示。3,图中所示为结果:筛选出来的结果id=147时的结果如图所示。最底下为执行结果,显示操作成功。...原创 2019-03-10 19:43:53 · 11483 阅读 · 0 评论 -
MySQL数据库如何用命令行导出不带表头(列名)的csv或txt文件
1,使用命令:mysql> select * from test into outfile ‘d:\test.csv’ fields terminated by ','enclosed by '"'lines terminated by ‘\r\n’;报错:ERROR 1290 (HY000): The MySQL server is running with the --secu...原创 2019-03-10 19:48:28 · 2509 阅读 · 0 评论 -
MySQL 导出指定数据表中的一行记录
1,打开MySQl Workbench,在命令对话框中输入指令,如下图所示(其中health为选择的数据表,框中为输入的命令,最底下为所运行的结果)运行命令为:SELECT * FROM health where id=147;2,ctrl+enter为运行快捷键,按下之后,上图最底下为运行结果。3,点击图中的Export/Import中的Export按钮,即可将刚才筛选的结果输出,如下...原创 2019-03-10 19:57:38 · 3873 阅读 · 1 评论 -
mysql命令行如何输一个id的范围
使用命令:select symptom from health2 where id in (96,97,98,99,100);原创 2019-03-10 20:03:58 · 1071 阅读 · 0 评论 -
Mysql查找如何判断字段中是否包含某个字符串(或者包含某个内容)
如下所示,在命令行中执行如下指令:SELECT * FROM asking where questions like "%黄疸%";其中,asking是表名,question是字段名,%黄疸%是里面内容,其中省略的内容,用百分号即可实现。...原创 2019-03-19 21:15:57 · 6137 阅读 · 0 评论 -
mysql导出文件不输出表头,同时只导出指定字段,并且进行某个字段中的某个字符串查询
指令如下所示:select questions, Consulting_questions_detailed,answer from asking where questions like "%脐炎%" into outfile "d:/1.txt" fields terminated by ','enclosed by '"'lines terminated by '\r\n';...原创 2019-03-19 21:18:33 · 1206 阅读 · 0 评论 -
解决python的scrapy爬虫时Memory error问题问题
解决python的scrapy爬虫时Memory error问题用pycharm运行scrapy爬虫代码时竟然出现Memory error错误,比较之后发现是并发任务过多导致内存不够用,这时候去调整setting文件夹中的CONCURRENT_REQUESTS_PER_DOMAIN = 16是不管用的。所以需要重写并发代码部分;具体问题代码如下:next_pages = sel.xpath(...原创 2018-11-19 19:33:17 · 1081 阅读 · 0 评论 -
调用normalize-space函数清除多余空格时导致爬取内容清空问题和清除爬取内容的空格换行字符问题
解决调用normalize-space函数清除多余空格时导致爬取内容清空和清除爬取内容的空格字符一、函数的使用方法为:见官网链接:二、对于normalize-space函数清除多余空格时导致爬取内容清空:对于该问题建议不使用该函数,因为该函数是在xpath路径中使用,我们只需将xpath路径爬取的内容保存为字符串,然后使用正则表达式re.sub()替换空格换行符即可:re.sub(pa...原创 2018-11-19 19:24:01 · 2575 阅读 · 0 评论 -
如何在mysql的表中按设置条件更新数据(update, id)
如何在mysql的表中按设置条件更新数据(update, id)语句为:update health set website='spring_rain_doctor' where id>1013;其中:health为所在的表;website为需要更新的字段;'spring_rain_doctor’为更新入website的字段;id>1013为设置条件,是指在id>101...原创 2018-12-15 15:19:19 · 6897 阅读 · 1 评论