- 博客(13)
- 收藏
- 关注
RSS订阅原创 字典中，如果值为空，则删除该键值对的方法
data_info = { 'account': 1, 'remark': 2, 'sort': '', 'weight': '', } for key in list(data_info.keys()): if not data_info.get(key): del ...
2018-11-27 15:17:44
11973
5
原创 centos的一些常识
1开机自动启动的文件夹/usr/lib/systemd/system/vsftpd.service以上说明vsftpd.service 这个服务开机自启动。2//重新启动ftp服务service vsftpd restart3 //查看ftp服务端口netstat -antup | grep ftp 4 查看防火墙状态systemct...
2018-11-27 12:39:29
104
原创 monogodb 中删除包含某字段的document
1情况一：把存在某固定键值对所在的document删除。db.getCollection('test').deleteMany({'time':'1126'})以上表示在表‘test’中，若存在{'time':'1126'} 这个字段，则删除这个字段所在的整个document。 2情况二：把包含某字段名删除，保留documentdb.getCollection('test...
2018-11-26 12:34:32
1170
1
原创 mongodb中，若不存在某字段，则添加字段的语句
可以在robo3T 中对表直接操作：db.getCollection('test').updateMany({'name':{'$exists':false}},{'$set':{'name':'ssss'}})若不存在name 这一字段，则添加‘name’:'ssss'
2018-11-21 11:29:56
4361
原创 scrapy下使用ip代理的方法
class RandomProxyMiddleware(object): #动态设置ip代理 def process_request(self, request, spider): get_ip = GetIP() request.meta["proxy"] = get_ip.get_random_ip()类似格式：request.m...
2018-11-17 09:53:29
2054
原创 把chrome设置成无头浏览器，配合selenium使用
正常情况下的调用是：from selenium.webdriver.support.wait import WebDriverWaitfrom selenium import webdriverdriver = webdriver.Chrome()wait = WebDriverWait(driver, 20)# driver.get('https://www.baidu.com'...
2018-11-16 15:21:56
2958
原创 （python爬虫时）如何知道是否代理ip伪装成功
通过请求http://httpbin.org/get 获得类似以下信息：{ "args": {}, "headers": { "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8", "Accept-Encoding"...
2018-11-13 16:17:16
7407
5
原创 阿布云动态代理使用方法（python requests）
def abu(targetUrl): headers = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'Accept-Encoding': 'gzip, deflate, br', ...
2018-11-12 16:07:39
6420
2
原创 selenium中添加cookies的方法 python
driver = webdriver.Chrome() driver.get('https://www.tianyancha.com/company/256283648') #先不添加就请求一次 cookies = { 'TYCID': '71b12660d7f311e880d78365f0abdc98', 'undefined': '71...
2018-11-12 12:02:24
4078
3
原创 selenium 添加请求头
参考：https://www.cnblogs.com/zhao-ying-jie/p/7082723.html headers = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q...
2018-11-12 10:20:43
11613
1
原创 scrapy 下爬取不同的网站，使用同一个settings时，设置自己的settings各个参数
比如有project1，和project2两个网站要爬取，第一个网站已经使用了settings中的配置，那么project2的配置需要在project2.py中自定义，如下，放到custom_settings 这个字典里： custom_settings = { 'ITEM_PIPELINES':{'quotetutorial.pipelines.MongoPipeline': 40...
2018-11-10 17:53:11
1642
转载 xshell 的下载和安装、连接 Linux
参考：http://www.cnblogs.com/bybdz/p/9311354.html 含有百度网盘下载xshell5，中文版的
2018-11-07 23:18:13
622
原创 用python对字体文件格式进行转换（woff-xml）
from fontTools.ttLib import TTFontdef get(): font = TTFont('./tyc-num.woff') font.saveXML('./woff4.xml')将woff文件转化为xml后，再在pycharm中打开。
2018-11-05 09:31:47
8300
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人