- 博客(23)
- 收藏
- 关注
RSS订阅原创 requests scrapy 爬虫的url带中文解决
import stringfrom urllib.parse import quote# 将url中带的中文进行转码，而特殊符号不变src = quote(src, safe=string.printable)img = urlopen(src).read()例如：link = 'http://jingkids.com/wp-content/uploads/2018/10/平和青浦...
2019-05-24 10:47:32
1741
原创 上传csv文件为gbk格式，而爬虫中打开的文件为utf-8格式的解决方案
需要用到unicodecsv模块，而不是使用csv模块，同时这种方法是将爬去下来的数据转为unicode码写入文件，在转为gbk码，这就存在unicode中有一些不可见字符，转换的时候python3是报错的，将encoding='gbk'改成encoding='gb18030'就可以了。import unicodecsv as ucsvimport timenow_d...
2019-04-10 16:26:49
569
原创 使用csv写入文件时出现乱码，空行问题
出现乱码问题： 第一种： 在open文件时，编码格式转为 encoding='utf-8-sig'格式。 第二种： 爬取并保存完文件之后，用Notepad++打开，选择转为ANSI编码格式，保存。再打开该文件就是正常的了。出现空行问题： 在open文件时，加入 newline='' 即可...
2018-12-26 12:01:19
754
原创 python中的re模块的不匹配 \n 符
在re中，如果使用 reg = re.compile(r'''<i class="board-index.+?">(.+?)</i>''') a = reg.findall(html, re.S)之类时，"."时不会匹配 \n 之类的特殊符号的，要想匹配的特殊符号，要写成reg_img = re.findall(r'''<img data-src...
2018-12-07 19:38:13
3269
1
原创 check the manual that corresponds to your MySQL server version for the right syntax to use near
check the manual that corresponds to your MySQL server version for the right syntax to use near ...... 出现如上错误，先看 建表 的时候表的字段名是不是占用了mysql的关键字，比如 show，table之类的。如果有，把字段名改了。如果字段名没错，那看你执行的语句，哪里是不是少写标点...
2018-12-07 19:34:17
174
原创 ffmpeg常用基本命令
ffmpeg常用基本命令1.分离视频音频流ffmpeg -i input_file -vcodec copy -an output_file_video //分离视频流ffmpeg -i input_file -acodec copy -vn output_file_audio //分离音频流2.视频解复用ffmpeg –i test.mp4 –vcodec copy –...
2018-12-04 23:27:56
167
转载 chromeF12 谷歌开发者工具详解 Console篇
Console面板控制台输出日志通过JS代码或者命令行console.log()、console.warn()和console.error()可以将日志信息输出到控制台console.log 显示一般的基本日志信息，当要显示的基本日志太多时可以使用console.group将相关的日志进行分组 console.warn 显示带有黄色小图标的警告信息 console.error 显...
2018-12-02 17:50:42
2189
转载 chromeF12 谷歌开发者工具详解 Elements篇
Elements面板实时编辑DOM节点和CSS样式双击DOM树视图里面的节点，可以实时编辑标签属性，修改的效果会立刻反应在浏览器里面点击右侧Style面板，可以实时修改CSS的属性值，这里面的所有样式Name和Value都是可以编辑的;在每个属性后面单击可以添加新的样式，如下图：点击右侧Computed面板，可以编辑左侧选中的盒子模型参数，所有的值都是可以修改的;点击不同的位置...
2018-12-02 17:49:02
6443
转载 chromeF12 谷歌开发者工具详解 Network篇
原文链接：https://segmentfault.com/a/1190000010302235Network详细介绍 那我就按照从左到右的顺序来写啦~ 记录按钮 处于打开状态时会在此面板进行网络连接的信息记录，关闭后则不会记录。 清除按钮 清除当前的网络连接记录信息。（点击一下就能清空） 捕获截屏 记录页面加载过程中一些时间点的页面渲染情况，截图根...
2018-12-02 17:46:30
950
原创 python爬虫 请求 某网址 url---中文 编码 转换
首先找到 请求网址： 其后找到请求头：由于是POST请求，因此需要传入 要转换的值:返回的是整个新页面的html码，我们要从中取出需要的值。 下面附上完整代码：from urllib import request,parseimport rebase_url = "http://tool.chinaz.com/tools/urlencode.aspx"def i...
2018-12-01 18:16:35
2044
原创 修改mysql数据库的值时 中文发生乱码情况
在查看 数据库 信息和点击修改进入的界面中（如下图） import cgi,cgitb,pymysql,redisimport codecs, sys sys.stdout = codecs.getwriter('utf8')(sys.stdout.buffer)cgitb.enable()print("Content-type:text/html")print()添加 如...
2018-12-01 18:07:03
233
原创 python 内部函数
内部函数在函数内部声明的函数就是内部函数。格式： def 函数名(): 局部变量... def 内部函数名(): Python功能代码...示例： def funName(): name = 'dragon' #定义一...
2018-11-30 19:40:40
226
原创 python 函数的变量作用域
变量的作用域变量的作用域就是指变量的有效范围。变量按照作用范围分为两类，分别是 全局变量 和局部变量。全局变量：在函数外部声明的变量就是全局变量有效范围： 全局变量在函数外部可以正常使用。 全局变量在函数内部也可以正常使用(需要用global声明)局部变量：在函数内部声明的变量就是局部变量有效范围： 局部变量在函数内部可以正常使用 局部...
2018-11-29 12:44:30
247
原创 python 函数的参数
4种函数的类型函数根据有没有参数，有没有返回值，可以相互组合，一共有4种无参数，无返回值无参数，有返回值有参数，无返回值有参数，有返回值<1>无参数，无返回值的函数此类函数，不能接收参数，也没有返回值，一般情况下，打印提示灯类似的功能，使用这类的函数def printMenu(): print('-------------------------...
2018-11-28 17:53:10
432
原创 python 函数文档
函数文档函数文档就是用来查看当前函数相关信息介绍的一个特定格式而已。查看函数文档的方法：help(函数名) 此方法会直接输出函数文档的内容函数名.__doc__ 直接输出显示函数文档的内容元字符串(可以使用print(函数名.__doc__)来解决无格式问题)定义函数文档的方法： def 函数名(参数): ''' ...
2018-11-26 18:38:42
211
原创 python 函数基本
函数 Function在计算机中称之为函数，在现实生活中称之为功能。 函数是能够实现特定功能的计算机代码，它是一种特定的代码组结构。函数的作用1.提高代码的重复利用率，避免重复开发相同代码 2.提高程序的开发效率 3.便于程序维护函数名的命名规则，和变量基本一样：1.推荐使用英文，禁止使用中文 2.可以使用数字，但不能以数字开头 3.不可以使用特殊字符，除了下划线_ ...
2018-11-23 18:53:57
112
原创 python基础笔记 流程控制 while循环2
流程控制：流程： 计算机执行代码的顺序，就是流程。流程控制： 对计算机代码执行顺序的控制，就是流程控制。流程分类： 流程控制一共分为三类，分别是 顺序结构、分支(选择)结构、循环结构。 顺序结构：是自上而下执行的结构，这是python默认的流程 分支结构:单项分支、双项分支、多项分支、巢状分支 分支结构语法结构1:单项分支if 条件表达式:...
2018-11-21 14:41:52
139
原创 linux 安装搜狗输入法
在linux中 火狐浏览器 搜索linux 搜狗，进入 搜狗输入法 for linux 选择相应的 下载，保存文件。在文件的下载中打开终端，依次输入sudo apt-get updatesudo apt-get -f installsudo dpkg -i sogoupinyin_2.2.0.0108_amd64.deb （这一步可能会失败，输入 报错提示的命令...
2018-11-19 12:29:07
203
原创 linux 安装sublime
依次输入此下三条命令即可安装成功sudo add-apt-repository ppa:webupd8team/sublime-text-3sudo apt-get updatesudo apt-get install sublime-text-installer第三步有点慢，需要等一会。然后输入subl 弹出sublime输入框即可。...
2018-11-19 11:04:28
934
原创 远程连接mysql数据库
使用 Navicat Premium 连接mysql数据库linux 下 把/etc/mysql/mysql.cnf.d/mysqld.cnf 文件中的 bind-addres = 127.0.0.1 注释掉然后进入数据库进行授权 输入 grant all on *.* to root@"%" identified by "你的密码" with grant...
2018-11-15 15:57:48
140
原创 linux 下 安装mysql
安装命令 sudo apt-get install mysql-server 在弹出的框中输入密码 在再次弹出的框中再次输入密码 sudo apt install mysql-client sudo apt inst...
2018-11-15 15:49:28
78
原创 python基础笔记 2 流程控制 for in循环
#for .. in循环'''for 变量 in 容器数据： python代码...#所有容器都可以使用for..in循环进行遍历#集合(对于无序数据没有办法使用while循环来进行遍历操作！)girls = {'于淼','苏辉辉','孙丽超','司松松','郭小于'}#使用变量name做个获取容器中的数据for name in girls: ...
2018-11-14 18:19:32
251
原创 python基础笔记1
Python声明：1. 如果没有此文件编码类型的声明，则python默认以ASCII编码去处理如果你没声明编码，但是文件中又包含非ASCII编码的字符的话，python解析器去解析的python文件，自然就会报错了。2. 必须放在python文件的第一行或第二行3. 支持的格式，可以有三种：① 带等于号的： # coding=<encoding name>② 最常见...
2018-11-12 17:52:33
88
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人