- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 [407]程序员个性注释
// I am not sure why this works but it fixes the problem. // 虽然我不知道为什么这样管用，但它却是修复了问题// drunk, fix later// 有点晕了，以后再修改<!-- Here be dragons --><!-- 前方高能 -->// This code sucks, you know ...
2018-09-25 14:55:05
496
转载 [406]百度云下载不限速
今天给大家带来的是比速盘更快、更强的百度云下载不限速，同样是绿色免安装、无广告、无需登录即可下载，避免了封号的风险。速度比会员都快，会员：你让我情何以堪。。需要注意的是，今天给大家带来的是浏览器嗅探下载器，也就是说需要使用浏览器打开百度云的分享链接或者个人的百度网盘文件，它就会自动捕捉百度云资源。1.使用前必须先打开软件，然后浏览器打开任意百度云文件，这时你会发现比平常多了一个proxyee-...
2018-09-25 14:53:41
11750
原创 [405]Mysql错误：_mysql_exceptions.OperationalError: (1054, "Unknown column 'CVE' in 'field lis解决办法
_mysql_exceptions.OperationalError: (1054, “Unknown column ‘CVE’ in ‘field list’”)（1）错误：#1054 - Unknown column ‘CVE’ in ‘field list’primaryTable_info_insert = "INSERT INTO primaryTable (cve_id, iie_...
2018-09-25 14:52:59
9309
原创 [404]scrapy - Request 中的回调函数不执行or只执行一次
在 scrapy 中，scrapy.Request(url, headers=self.header, callback=self.parse)调试的时候，发现回调函数 parse 没有被调用，这可能就是被过滤掉了，查看 scrapy 的输出日志 offsite/filtered 会显示过滤的数目。这个问题如何解决呢，查看手册发现(https://d...
2018-09-25 14:52:04
1876
原创 [403]scrapy setting配置及说明
参考文档http://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/settings.html#topics-settings-refAUTOTHROTTLE_START_DELAY = 3开始下载时限速并延迟时间AUTOTHROTTLE_MAX_DELAY = 60高并发请求时最大延迟时间AWS_ACCESS_KEY_ID它是用于访...
2018-09-18 17:08:06
7028
2
原创 [402]MySQL创建数据表和MySQL数据类型
CREATE TABLE IF NOT EXISTS dmdi.bond_sentiment_news( `id` int(12) NOT NULL COMMENT 'id', `title` varchar(480) NULL DEFAULT NULL COMMENT '标题', `summary` LONGTEXT NULL DEFAULT NULL COMMENT '新闻摘要',...
2018-09-15 17:02:56
3858
原创 [401]import theano导入失败的解决方法
1、>>> import theano WARNING (theano.configdefaults): g++not available, if using conda: conda install m2w64-toolchain WARNING (theano.configdefaults): g++not detected ! Theano will be unabl...
2018-09-15 17:02:01
3853
原创 [400]anaconda详细安装使用教程
目录：Anaconda是什么？如何安装？如何管理包？如何管理环境1.Anaconda是什么？简单来说，Anaconda是Python的包管理器和环境管理器。先来解决一个初学者都会问的问题：我已经安装了Python，那么为什么还需要Anaconda呢？原因有以下几点：（1）Anaconda附带了一大批常用数据科学包，它附带了conda、Python和 150 多个科学包...
2018-09-15 17:00:20
57573
4
原创 [399]python3 pickle模块详解
python3 pickle持久化的储存数据。python程序运行中得到了一些字符串，列表，字典等数据，想要长久的保存下来，方便以后使用，而不是简单的放入内存中关机断电就丢失数据。python模块大全中pickle模块就排上用场了， 他可以将对象转换为一种可以传输或存储的格式。pickle对象串行化pickle模块将任意一个python对象转换成一系统字节的这个操作过程叫做串行...
2018-09-15 16:58:53
1262
原创 [398]python3 int类型写到mongo转为NumberLong类型
import bsona=bson.int64.Int64(123)print(a)print(type(a))>>> import bson>>> bson.int64.Int64(111)111>>> a=bson.int64.Int64(111)>>> type(a)<class 'bso...
2018-09-10 18:20:37
3892
原创 [397]linux中安装Thrift（指定版本）
Thrift的安装步骤如下：（1）下载thrift （ http://archive.apache.org/dist/thrift/ ）去下载thrift安装包，选择自己需要的 版本 （我安装的是 0.9.1）下载 thrift-0.9.1.tar.gz （压缩包）（2）解压thrif...
2018-09-10 18:19:49
2828
1
原创 [396]unknown error: Chrome failed to start: exited abnormally (Driver info: chromedriver=...)
linux下命令行运行报错Message: unknown error: Chrome failed to start: exited abnormally(Driver info: chromedriver=2.36.540471 (9c759b81a907e70363c6312294d30b6ccccc2752),platform=Linux 4.14.0-deepin2-amd64 ...
2018-09-05 17:04:46
4046
2
原创 [395]centos7安装谷歌浏览器
1. 下载 rpm 包https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm2. 安装依赖包yum install -y lsbyum install -y libXScrnSaver3. 安装chromerpm -ivh google-chrome-stable_curre...
2018-09-05 17:02:59
615
转载 [394]chrome浏览器的options参数
1. 背景在使用selenium浏览器渲染技术，爬取网站信息时，默认情况下就是一个普通的纯净的chrome浏览器，而我们平时在使用浏览器时，经常就添加一些插件，扩展，代理之类的应用。相对应的，当我们用chrome浏览器爬取网站时，可能需要对这个chrome做一些特殊的配置，以满足爬虫的行为。常用的行为有： 禁止图片和视频的加载：提升网页加载速度。添加代理：用于翻墙访问某些页面，或者...
2018-09-05 10:30:13
83952
2
原创 [393]python socks5代理
使用前先更新requests版本为支持socks的版本。pip install -U requests[socks]import requestsheaders = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) ' 'AppleWebKit/537.36 (KHTML, like Gecko) ' ...
2018-09-05 10:28:50
7128
python3 使用 thrift 操作hbase 安装hbase-thirft后有一个Hbase报错
2018-09-10
python如何给字典的value设置默认值
2022-11-02
python内置函数，lower()、upper()实现的原理是什么
2022-10-31
TA创建的收藏夹 TA关注的收藏夹
TA关注的人