nononotles-CSDN博客

原创 scrapy使用extract()输出unicode转为中文的方法

就是一个简单的小爬虫，因为爬的是小说网站的正文，一开始发现用extract_first()只能爬到正文的第一句话。但如果是用extract()又会print出一堆unicode，百度了好久，根据百度的方法主要有两种：1、字符串unicode转换为中文print str.decode("unicode-escape")是有用的。但因为我获取的是选择器列表，所以需要遍历选择器列表，但当我遍历以后再爬一...

2018-04-11 22:41:39 4565 4

原创 Scrapy 爬虫学习

scrapy shell "http://quotes.toscrape.com/page/1/" #windows系统必须使用双引号，否则报错ValueError: invalid hostname: 'http>>> response.css('title') #返回一个名为List的对象SelectorList，表示包含Selector的XML/HTML元素的对象列表，允许用户运行进一步的

2018-01-23 15:53:30 284

原创 Scrapy 运行命令报错Unhandled error in Deferred scrapy

跟着教程做第一个小爬虫，输入命令scrapy crawl baidu --nolog#scrapy crawl+爬虫名 –nolog即不显示日志结果报错Unhandled error in Deferred scrapy，百度了很久得到解决方案：进入Python27目录下，手动安装，可以在命令行使用python Python27\Scripts\pywin32_postinstal

2018-01-23 10:24:03 10607 4

原创 Python html中一级元素.next_sibling打印为空

在学到BeautifulSoup库的兄弟节点有了疑惑，希望见到这篇文章的各位大神们能帮我解决这个疑惑。以下是出现问题的代码，没有报错，只是实现与我期望的不同。from bs4 import BeautifulSoupsibling_html = """ biubiubiupiupiupiu 哔哩哔哩

2018-01-17 16:11:39 2217

原创 Python 报错解决方法

1、在学习爬虫时，将代码复制上去试着运行，结果就报出一下错误：SyntaxError: Non-ASCII character '\xe5'百度了一下，在这里记录一下解决方法：出现这个错误的原因是python默认的编码是ASCII码，而文件中出现中文，需要在文件开头输入：# -*- coding:UTF-8 -*-，再运行发现问题已经解决。2、python注释方法（pycharm）

2018-01-16 14:34:28 2525

原创 VMware中不小心关掉虚拟机，在页面中找不到该虚拟机，要找回的方法

☝关闭前☟关闭后（已经没有出现该虚拟机了）如图点击关闭按钮后，VMware界面将没有该虚拟机的出现，之前我也遇到过这样的问题，只是蠢得不知道怎么去做，就又新建了个虚拟机，所有东西都要从头再来。但是前天晚上又手贱的去关闭以后，发现长此下去可不行，就百度了一下，终于找到了找回被关闭虚拟机的办法。点击页面中的“打开虚拟机”，找到我们之前安装虚拟机的目录，例如我的是默认安装路径：C:\Us

2017-11-25 10:51:40 38194 55

原创 Linux常用命令学习

【find】1.find -name filename 通过文件名来查找文件。Exp: --查找文件名为test的文件。-- find -name test.*2.find -perm /permissionExp:--查找文件权限为 owner（文件所有者）的权限为r(read)、w(write)、x(execute)，group（文件所有者的组成员）的权限为r， a

2017-10-28 23:46:00 151

原创 Linux 安装VMware-Tools

已经是第二次安装VMWare-Tools，但经常会忘记1.输入密码后，切换到root权限> su root 2.创建目录> mkdir /mnt/cdrom 3.挂载到目录> mount -t auto /dev/cdrom /mnt/cdrom 4.进入到该文件夹，查看文件详细信息，若挂载成功，详细信息中将包含VMWareTools-10.1.6-xxxxxxx.ta

2017-10-13 19:45:15 127

原创 mysql nvarchar 和 varchar

在做笔试题的时候看到答案是nvarchar，一开始还不懂，百度了一下才知道nvarchar的存储与varchar是不一样的。nchar与nvarchar中，无论存放的是汉字还是字母，每一个都是占据2个字节，而varchar和char，则是每个字母占1个字节，每个汉字占2个字节。nchar和char都是定长的，即如定义了char(10)，无论最终数据有没有占全这10个字节，都会占去这10字节

2017-10-12 14:32:10 6013 1

原创 mysql inner join 链接多个表

参考了一位博主的博客，记录一下以后好找。用inner join链接三个表> select * from (表A inner join 表B on A.字段名 = B.字段名) inner join 表C on A.字段名 = C.字段名;Exp:有三个表：（黄色列为biology表，蓝色列为physics表，粉色列为chinese表）修改*改为> select

2017-10-12 11:13:54 7476

原创 mysql 增删查改-练习

在已有表格中添加新的字段：> alter table 表名 add 新字段名类型(varchar/int等等) not null/..;查询teacher表中姓“李”的老师的个数：（用like来查找部分）> select count(*) from teacher where Name like '李%';

2017-10-12 10:20:58 1319

原创 mysql 主键外键

给已经建好的表添加外键> alter table 建好的表名 add constraint 外键名(不能与之前起过的名字相同) foreign key(当前表对应的字段) references 连接的主表名(主表中的主键名);Exp:> alter table chinese add constraint chinese_fk foreign key(No) references

2017-10-09 21:21:51 304

原创 mysql 将一个表的数据复制到另一个表中

> insert into mix (No, Name, physics_Grade) select p_No, Name, Grade from physics;出现报错：Field 'biology_Grade' doesn't have a default value原因是设置mix表时将biology_Grade设为非空，>alter table mix modify biol

2017-10-09 16:28:42 8397

u011378313的博客