dangsh_的博客

dangsh's

python3 scrapy css选择器(Selectors) 用法

想优化一下刚刚写的爬虫,改一下Selectors 去看文档 眼花缭乱 ,所以想在这里总结一下Selectors 的简单用法, 不扯别的,就是学会用 ,简单粗暴的学会用法 我们不如还拿拉勾网实验可好 滑稽.jpg https://www.lagou.com/zhaopin/Java/打开...

2017-11-23 18:54:44

阅读数 8848

评论数 2

python3 scrapy 入门级爬虫 爬取数万条拉勾网职位信息

首先通过pip 安装scrapy ,安装方式一百度一大堆~ 这里就不再赘述 安装成功之后,开始今天的教程 执行:scrapy startproject First 生成项目文件 如图所示即为创建项目成功 创建成功后会生成如图所示的目录结构 我的理解是: 用户自己写的爬虫py文件...

2017-11-21 00:10:37

阅读数 3608

评论数 8

django1.4.22 使用 mongoengine 和遇到的一些问题

首先 mongodb不是django官方推荐使用的数据库 但是总有一些人想用mongo,于是有了mongoengine 先pip安装 pip install mongoengine 然后在settings中修改(有的文章没有指定host和port) DATABASES = { 'defa...

2019-04-27 10:08:19

阅读数 40

评论数 0

centos 安装redis参考文章

安装 https://www.cnblogs.com/renzhicai/p/7773080.html 配置允许远程连接 http://www.mamicode.com/info-detail-2226760.html http://www.cnblogs.com/jinjiyese153/p/8...

2019-02-19 15:24:25

阅读数 19

评论数 0

解决 You should rebuild using libgmp >= 5 to avoid timing attack vulnerability. (升级GMP)

在一台新的centos6.7开发机,配置完环境后运行django项目如下报错 原因是:在Centos6.7系统中自带GMP version 4,但是一些应用如PyCrypto需要使用GMP >= 5。 需要进行以下处理 yum -y groupinstall...

2019-01-14 21:28:39

阅读数 97

评论数 0

2018 12 25 ant design 按钮 雪堆 圣诞节彩蛋

今天正在写钉钉自建应用相关功能。突然小伙伴发了个我们项目的页面给我,让我看bug,如下 什么鬼,但是仔细一看,是雪堆?难道是圣诞节彩蛋,而且,刚刚似乎见到过?翻来覆去找,终于 然后跑去ant design 的官网 然后还发现了一位大胸弟90天前看到的彩蛋, https://www.v2ex...

2018-12-25 11:28:26

阅读数 2919

评论数 0

pyspark 将rdd 存入mysql

简单来说:将rdd存入mysql需要先将rdd转为dataframe,然后将dataframe存入mysql 以下是例子 相关配置不做赘述 首先需要拥有一个rdd , 我的rdd长这个样子 然后把rdd转成dataframe from pyspark.sql import Row emp = r...

2018-10-23 18:48:01

阅读数 678

评论数 0

python3 使用requests爬取 双色球所有中奖号码,并使用pandas+matplotlib 进行分析

首先需要写一个爬虫将双色球开奖数据抓下来,找到了这个网站 http://datachart.500.com/ssq/ 默认只显示最近30期的中奖号码 找到网站的所有中奖号码接口, http://datachart.500.com/ssq/history/newinc/history.p...

2018-07-17 17:21:44

阅读数 2048

评论数 2

appium python 解决 'WebElement' object does not support indexing 问题

在测试登录微信的时候,密码框是没有id的,所以我选择通过class查找,代码如下 el5 = driver.find_element_by_class_name("android.widget.EditText")[1] 在运行以上代码的时候,报了一个这样的...

2018-05-30 11:06:58

阅读数 3765

评论数 7

python spark RDD randomSplit 参数解释与使用详解

randomSplit(weigh , *seed):参数:1. weights: 是一个数组 根据weight(权重值)将一个RDD划分成多个RDD,权重越高划分得到的元素较多的几率就越大。数组的长度即为划分成RDD的数量,如rdd1 = rdd.randomSplit([0.25,0.25...

2018-05-04 14:56:19

阅读数 2138

评论数 0

解决 pip install pyquery 失败 报错 got an unexpected keyword argument 'transport_encoding'

pip install pyquery的时候报错如下:TypeError: parse() got an unexpected keyword argument 'transport_encoding'只需要执行以下代码就好了conda install pip再次pip install pyque...

2018-04-11 15:20:22

阅读数 331

评论数 0

python3 scrapy 进阶(一)Rule , Link Extractors 的使用

之前一直没有使用到Rule , Link Extractors,最近在读scrapy-redis给的example的时候遇到了,才发现自己之前都没有用过。Rule , Link Extractors多用于全站的爬取,学习一下。 Rule Rule是在定义抽取链接的规则 class scr...

2018-03-22 17:01:50

阅读数 1779

评论数 1

linux python3 安装scrapy 后提示 -bash: scrapy: 未找到命令

原因是没有建立为scrapy命令建立软链接 首先找到python3的安装位置 我的是/usr/local/python3/bin/scrapy之后建立软链接ln -s /usr/local/python3/bin/scrapy /usr/bin/scrapy现在再使用scrapy命令就不会...

2018-03-19 16:14:15

阅读数 2784

评论数 0

tonado 自定义模板 ui_methods , ui_modules 的使用

首先搞出一个tornado的hello_world, 新建test.py , tem.html , 代码如下:test.pyimport tornado.web import tornado.ioloopclass MainHandler(tornado.web.RequestHandler):...

2018-02-12 11:17:43

阅读数 265

评论数 0

python3 List/列表 随机取出元素

随机从List中取出元素,代码如下:import randomlist = ['a' , 'b' , 'c' , 'd' , 'e' , 'f' , 'g'] for i in range(5): some = random.sample(list , 3) print(some)...

2018-02-10 20:57:07

阅读数 6367

评论数 0

MySQL 自增长的id 重新计数

使用语句:truncate table 表名就行了

2018-02-10 15:44:07

阅读数 624

评论数 0

ajax 设置同步 解决 twbsPagination Start page option is incorrect 问题

今天做项目界面分页的时候,在同一界面中进行了两次ajax请求。 第一次请求的时候获取数据条数 第二次请求创建twbsPagination分页插件, 创建这个插件的时候需要根据数据条数来计算页面数 刚开始是没有问题的,刷新了几次后报了个bug: 错误的原因是起始页错误了,在程序中打印了...

2018-02-08 20:53:02

阅读数 790

评论数 0

js Uncaught SyntaxError: Unexpected token <

js 报错 Uncaught SyntaxError: Unexpected token <报这个错的原因有可能是 引入了一个不存在的js文件,即没有main.js这个文件, 但是你却在代码中<script type="text/javascript" src=&...

2018-02-03 17:31:07

阅读数 4246

评论数 0

python3 操作 redis List(列表) 实例 详解

没有安装redis的话可以看我另一篇blog,有资源和方法首先先看一下python3 操作redis都有哪些命令 lrange(key , start , stop) lpush(key , value) rpush(key , value) lpop(key) rpop(key) blpop(k...

2018-01-31 19:46:07

阅读数 3781

评论数 0

python3 windows下 redis 安装 和环境配置

1.安装redis首先需要下载redis windows下的redis是由Microsoft提供的,github下载链接如下: https://github.com/MicrosoftArchive/redis/tags 我在网盘里也放了一份,下载对应版本即可: https://pan.b...

2018-01-31 19:31:00

阅读数 777

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭