- 博客(34)
- 收藏
- 关注
原创 关于git Permission denied (publickey). fatal: Could not read from remote repository. 的处理
首先查看本地的.git/config设置的仓库url地址和github使用的链接地址是否一致,如use https,则url需要用https的仓库地址 cat .git/config查看配置中的URL是否和仓库地址相同1、检查电脑中是否有id_rsa和id_rsa.pub文件(一般在/c/Users/用户名/.ssh 或者 ~/.ssh目录下),有则备份删除2、以下步骤为重...
2019-03-22 15:25:31 981
原创 python selenium Firefox WebDriverException: Message: permission denied
在使用selenium和Firefox中,报错:WebDriverException: Message: permission denied分析原因是:Firefox版本的问题经处理如下版本方式可以解决: Python 3.6.0 selenium 3.141.0 Firefox 62.0 geckodriver-v0.23.0...
2018-12-13 19:23:32 5548
转载 python命令行参数解析
一、getopt模块 getopt.getopt(args, options[, long_options])args为需要解析的命令行参数列表,一般为sys.argv[1:],这是因为argv[0]为脚本的路径。options为希望识别的参数,如果该命令行参数需要指定一个参数值,例如-a param_a,那么它必须跟一个冒号":",即"a:",再加上不需要指定参数值的c即为:"a:c...
2018-11-07 11:35:16 372
原创 python List 相关操作
1、创建空列表 a = [ [ ] for i in range(5)] b = [ [ ] ] * 5 a中的五个空列表,分别指向不同的对象; b中的五个空列表,指向同一个对象; 2、列表的复制 a = [1,2,3,4,5] b = a a...
2018-10-22 18:16:02 198
原创 python selenium代理解决方案
profile = webdriver.FirefoxProfile()profile.set_preference("network.proxy.type", 1)#profile.set_preference("network.proxy.share_proxy_settings", True)#profile.set_preference("network.http.use-cach...
2018-09-25 14:59:03 1168
原创 Linux下python包安装报错
PermissionError: [Errno 13] Permission denied: '/usr/local/python3/lib/python3.5/site-packages/beautifulsoup4-4.6.3.dist-info'在Linux下安装bs4时报以上错误,所有命令为pip install bs4报错原因为权限不够,改用一下命令成功安装: ...
2018-09-14 10:51:58 580
原创 python中True和False与字符串True和False
python中字符串"True"、"False"无发转化为bool类型,字符串的bool值都为True。在配置文件config.ini中如果定义一个变量为bool值,则无效,得到的是字符串,如下: 在config.ini文件中: [Controler] ...
2018-08-25 11:34:14 13793
原创 python中的类
类的__init__方法,只会的类的初始化,创建对象的时候调用要想创建一个对象多次使用,可以把初始化__init__中的属性,放在累的别的方法中
2018-08-24 02:16:54 91
原创 python中的while循环
i = 0while i < 5: print("i=",i) i += 1 for i in range(0,5): print("b")一不小心,就陷入了死循环
2018-08-17 15:48:15 221
原创 requests中headers设置的小坑
headers = { "Host": "www.tmkoo.com", "Connection": "keep-alive", "Content-Length": "50", "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp
2018-08-17 15:42:40 7103
原创 python mongodb update
1、更新多条数据 update_many(self, filter, update, upsert=False,bypass_document_validation=False, collation=None) upsert=False,表示在筛选不到数据时 ,不插入 upsert=True,在筛选不到数据时,插入,但是只会插入筛选的字段 例如...
2018-08-14 16:50:00 2392
原创 python时间格式处理时 遇到的一些问题
1、把字符串时间格式转化为时间戳 validPeriod = "2017/10/07 - 2027/10/06" privateDate = validPeriod.split("-") tart = privateDate[0].strip() #split之后一定要strip,去除空格,不然会报错"ValueError: unconverted data...
2018-08-14 11:05:07 2100
原创 Ubuntu用户创建与删除
1、进入root权限 sudo su2、 sudo adduser 用户名 输入两次密码 两次输入linuxidc的初始密码,出现的信息如下 passwd: password updated successfully Changing the user information for linuxidc Enter the n...
2018-07-23 23:10:32 819
原创 python中的json数据处理
1、从redis中提取的数据为byte,在使用json.loads()时,需要先转化为字符串,另外单引号要转变为双引号 data.decode('utf-8').replace("'", "\"")2、报错类型如下:json.decoder.JSONDecodeError: Invalid \escape原因是数据中有如图所示的字符,需转化 re...
2018-07-17 18:46:40 529
原创 从redis读取数据报错的处理
如下报错,提示: ValueError: Expecting property name enclosed in double quotes: line 1 column 2 (char 1) 解决:data.decode('utf-8').replace("'", "\"")
2018-07-16 18:06:58 2020
原创 pip install scrapy时报错的处理
在pip install scrapy时报错,如下需要我们自己下载Twisted,然后安装。这里有Python的各种依赖包。选择适合自己Python以及系统的Twisted版本。 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 这里一定要注意下载与自己电脑匹配的版面,版本不匹配在安装时会报如下错误: is not wheel in thi...
2018-06-20 15:40:43 500
转载 python中的协程
协程协程:是单线程下的并发,又称微线程,纤程。英文名Coroutine。一句话说明什么是线程:协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的。协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置。注意: 1. python的线程属于内核级别的,即由操作系统控制调度(如单线程一旦遇到i...
2018-06-18 18:54:02 214
原创 python中的多进程、进程池和进程间通信
多进程 multiprocessing.Process 创建进程的类:Process([group [, target [, name [, args [, kwargs]]]]]),target表示调用对象,args表示调用对象的位置参数元组。kwargs表示调用对象的字典。name为别名。group实质上不使用。方法:is_alive()、join([timeout...
2018-06-18 18:46:02 410
转载 Chrome设置禁止自动更新
Chrome历史版本下载地址:https://www.chromedownloads.net/chromewebdriver下载地址:http://chromedriver.storage.googleapis.com/index.html附chromedriver与chrome的对应关系表:chromedriver版本支持的Chrome版本v2.33v60-62v2.32v59-61v2.31v...
2018-05-26 01:21:39 17367
原创 windows下MongoDB安转配置及启动
MongoDB安转配置:注意事项1.如果命令执行出了异常,看看是否命令中间换行了。win7的cmd,换行就执行了。。2.启动以后有任何异常,你应该立即去看logs下自动生成的文件3.启动不了,删除logs下的所有文件试试4.已经安装过MongDB的,提示MongDB服务已存在,用sc delete MongoDB删除即可。5.如果下载的是.msi文件,安装后不知道在哪,要查看我的这个博文点击打开链...
2018-05-24 00:38:24 341
转载 XHR
ajax是asynchronous javascript and XML的简写,中文翻译是异步的javascript和XML,这一技术能够向服务器请求额外的数据而无须卸载页面,虽然名字中包含XML,但ajax通信与数据格式无关. ajax包括以下几步骤:1、创建AJAX对象;2、发出HTTP请求;3、接收服务器传回的数据;4、更新网页数据 概括起来就是,...
2018-05-17 22:30:30 2857
原创 Windows下MongoDB安装及环境配置
1、下载MongoDB安装包: 官网地址:https://www.mongodb.com/download-center?jmp=nav#community 一路点击next安装,可以自定义安装路径,例如安装在H:\mongo2、安装完成后,打开安装路径,在bin的同级文件夹建立一个data文件夹,进入data文件夹,①建立一个db文件夹(路径为H:\m...
2018-04-30 12:14:33 157
转载 Item Loader使用详解
Items 提供保存抓取数据的 容器 , 而 Item Loaders提供的是 填充 容器的机制 ItemLoader 类位于 scrapy.loader ,它可以接收一个 Item 实例来指定要加载的 Item, 然后指定 response 或者 selector 来确定要解析的内容,最后提供了 add_css()、 add_xpat...
2018-04-24 17:59:04 3042
原创 CrawlSpider和XMLFeedSpider
一、CrawlSpider CrawlSpider除了从Spider继承过来的属性外,还提供了新的rules属性,提供跟进链接功能, rules属性是一个包含一个或多个Rule对象的集合, 每个Rule对爬取网站的动作定义了特定的规则, 对于多个Rule匹配相同的链接,根据它们在rules属性中被定义的顺序,第一个被使用。 可以复写parse_start_url(re...
2018-04-24 12:57:59 293
转载 scrapy第一次请求方式的重写
当起始请求需要设置header,cookie,data时,则要对起始请求做处理,所以需要重写第一次请求处理函数start_request(self)1 设置header与cookie 如果在settings.py文件中设置请求头,则所有的蜘蛛文件都使用该请求头,然而不同的蜘蛛文件需要不同的请求头,因此需要给每个蜘蛛文件的请求设置独立的请求头. 设置独立的header和cookie方法为...
2018-04-24 10:45:24 4605
原创 selenium用法回顾
一、Selenium+PhantomJs最新版本的Selenium已不再支持PhantomJs,详情参考官网from selenium import webdriverfrom selenium.webdriver.common.desired_capabilities import DesiredCapabilitiesdef getSource(url): # 设置请求头...
2018-04-22 22:34:05 303
原创 Python爬虫:Fiddler的使用和浏览器伪装技术
Fiddler是一款常见的抓包分析软件,利用Fiddler可以详细地对HTTP请求进行分析,并模拟HTTP请求。 在爬虫中利用Fiddler,可以帮助我们更快地分析出一些动态网页加载的请求实现方式; 在有了Fiddler,经过设置之后,本地应用和服务器之间的Request和Response都将经过Fiddler转发,Fiddler以代理服务器的方式存在。官网下载地址:https:...
2018-04-21 16:12:22 2030 1
原创 Python爬虫:Cookie的使用
1、HTTP协议是一个无状态协议,通过Cookie保存会话信息,从而判断目前的会话状态,比如可以判断是否已经登录。当我们用urlopen来请求一个URL时,都是使用的默认opener;当需要用到Cookie时,要创建一个更一般的opener;2、cookielib模块主要是提供可存储的Cookie对象,以便于与urllib2模块配合使用来访问Internet资源该模块主要的对象有CookieJar...
2018-04-20 23:58:41 233
转载 Lxml库及Xpath语法详解
一、Xpath术语1、节点:七种类型的节点:元素、属性、文本、命名空间、处理指令、注释以及文档(根)节点2、节点关系:父、子、同胞、先辈、后代3、节点选取表达式描述nodename选取此节点的所有子节点/从根节点选取//从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。.选取当前节点..选取当前节点的父节点@选取属性实例在下面的表格中,我们已列出了一些路径表达式以及表达式的结果:路径表达式...
2018-04-20 18:43:13 9303
转载 爬虫VS反爬虫
爬虫与发爬虫的厮杀,一方为了拿到数据,一方为了防止爬虫拿到数据,谁是最后的赢家?重新理解爬虫中的一些概念爬虫:自动获取网站数据的程序反爬虫:使用技术手段防止爬虫程序爬取数据误伤:反爬虫技术将普通用户识别为爬虫,这种情况多出现在封ip中,例如学校网络、小区网络再或者网络网络都是共享一个公共ip,这个时候如果是封ip就会导致很多正常访问的用户也无法获取到数据。所以相对来说封ip的策略不是特别好,通常都...
2018-04-20 17:19:35 481 1
原创 Python网络爬虫:User Agent和代理IP
一、在urllib2中的使用:# 一:# 异常处理,及设置请求次数# 可添加time时间间隔import urllib2def download(url,num_retries=2): print("Downloading:",url) try: html = urllib2.urlopen(url).read() except urllib2.URLError as e: ...
2018-04-20 16:07:08 259
转载 selenium用法详解
selenium用法详解selenium主要是用来做自动化测试,支持多种浏览器,爬虫中主要用来解决JavaScript渲染问题。模拟浏览器进行网页加载,当requests,urllib无法正常获取网页内容的时候一、声明浏览器对象注意点一,Python文件名或者包名不要命名为selenium,会导致无法导入from selenium import webdriver#webdriver可以认为是浏览...
2018-04-19 20:57:46 1143
原创 如何把本地项目上传到Github
参考链接:https://www.cnblogs.com/shenchanghui/p/7184101.html因为GitHub是基于git实现的代码托管,所以git是少不了的。我们要确认电脑上安装了git,没有安装的,就去安装git。至于安装方法,就自行百度吧。新建Test文件夹,里面添加几个文件。右击Test文件夹根目录,点击“Git Bash Here”,打开git命令行。按照github新...
2018-04-19 17:16:33 142
原创 image属性的input提交按钮
html中input属性type=image的提交按钮,再点击后自动刷新页面:解决方法:<input type="image" name="tjiao" src="images/denglu_btn.png" onclick="return false">
2018-03-19 16:58:02 1530
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人