生成 10 个随机数 [0,100] 且最终 10 个随机数之和为 100 ,数字为整数,可重复

随机生成随机数,开区间(0,100), 生成 9 个, 然后按小到大排序, 假设排序后这个 9 个数字是 a0,a1,…,a8 那么红包的额度分别为 a0 a1-a0, a2-a1, … 100-a8 Python 实现: import random a = [rand...

2019-01-22 10:57:59

阅读数 135

评论数 0

git 总结

git init :初始化一个Git仓库。 添加文件到Git仓库,分两步: 1、git add <filename>,可反复多次使用,添加多个文件(把要提交的所有修改放到 暂存区); 2、git commit -m &amp...

2018-11-23 17:58:47

阅读数 47

评论数 0

MAC 配置ssh允许SourceTree通过秘钥访问远程仓库

按如下命令来生成 sshkey: ssh-keygen -t rsa -C "xxxxx@xxxxx.com" 按照提示完成三次回车(设置密码为空),即可生成 ssh key; 添加后,在终端(Terminal)中输入: ssh -T git@gitee.c...

2018-11-09 21:52:28

阅读数 338

评论数 0

python DataFrame 打印结果不换行方法

加入代码: pd.set_option('display.width', 5000)

2018-03-12 15:32:41

阅读数 1176

评论数 0

python的对数

首先要导入 math 模块: import math math.log(8,2),此为以2为底8的对数 等于 math.log2(8); 自然对数: 以e为底的对数。 e = math.e 约等于 2.718281828459045; x的自然对数为:math.log(x,math.e) ....

2018-03-01 16:00:58

阅读数 1845

评论数 0

Pycharm配置git提交的账户以及SSH密钥

Pycharm配置git提交的账户: git 修改当前的project的用户名的命令为:**git config user.name 你的目标用户名**; git 修改当前的project提交邮箱的命令为:**git config user.email 你的目标邮箱名**; 如果你要修改当前全局的...

2018-01-03 15:40:08

阅读数 4802

评论数 1

python 标准差计算(std)

numpy.std() 求标准差的时候默认是除以 n 的,即是有偏的,np.std无偏样本标准差方式为 ddof = 1; pandas.std() 默认是除以n-1 的,即是无偏的,如果想和numpy.std() 一样有偏,需要加上参数ddof=0 ,即pandas.std(ddof=0) ...

2017-12-28 16:15:43

阅读数 39366

评论数 1

listIterator,可以边遍历边修改

Iterator和ListIterator区别我们在使用List,Set的时候,为了实现对其数据的遍历,我们经常使用到了Iterator(迭代器)。使用迭代器,你不需要干涉其遍历的过程,只需要每次取出一个你想要的数据进行处理就可以了。但是在使用的时候也是有不同的。List和Set都有iterato...

2017-08-24 14:57:54

阅读数 5173

评论数 3

OSS阿里云对象存储服务,java文件操作

OSS官方文档:https://help.aliyun.com/document_detail/32008.html?spm=5176.doc52834.6.658.ywPCqK // endpoint是访问OSS的域名。如果您已经在OSS的控制台上 创建了Bucket,请在控制台上查看域名...

2017-07-19 17:36:24

阅读数 1430

评论数 0

python 爬虫

原文博客地址:http://blog.csdn.net/Bone_ACE/article/category/6409215

2017-07-07 17:21:52

阅读数 305

评论数 0

Scrapy爬虫框架使用IP代理池

一、手动更新IP池方法一:1.在settings配置文件中新增IP池:IPPOOL=[ {"ipaddr":"61.129.70.131:8080"}, {"ipaddr":"61.152.81.193:...

2017-07-05 15:34:21

阅读数 5055

评论数 0

Scrapy在采集网页时使用随机user-agent

随机生成User-agent:更改User-agent能够防止一些403或者400的错误,基本上属于每个爬虫都会写的。这里我们可以重写scrapy 里的middleware,让程序每次请求都随机获取一个User-agent,增大隐蔽性。在settings.py中添加以下代码:DOWNLOADER_...

2017-06-22 17:25:03

阅读数 1046

评论数 0

Scrapy爬虫架构图解

这就是整个Scrapy的架构图了; Scrapy Engine: 这是引擎,负责Spiders、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等等!(像不像人的身体?)Scheduler(调度器): 它负责接受引擎发送过来的requests请求,并按...

2017-06-22 16:16:52

阅读数 3588

评论数 4

scrapy-redis 和 scrapy ?

一、scrapy和scrapy-redis的主要区别在哪里? 个人认为,scrapy和scrapy-redis不应该讨论区别。scrapy 是一个通用的爬虫框架,其功能比较完善,可以帮你迅速的写一个简单爬虫,并且跑起来。scrapy-redis是为了更方便地实现scrapy分布式爬取,而提供了一...

2017-06-20 15:09:28

阅读数 435

评论数 0

分布式架构的发展 -- 你想知道的都在这里。

首先推荐4本书大型分布式网站架构设计与实践http://item.jd.com/11529266.html大型网站技术架构:核心原理与案例分析http://item.jd.com/11322972.html大型网站系统与Java中间件实践http://item.jd.com/11449803.ht...

2017-06-19 16:11:26

阅读数 585

评论数 0

给 Scrapy 爬虫项目设置防反爬

所有的设置都是在scrapy爬虫项目中的settings.py 文件中进行设置。 Step 1 . 设置爬虫不遵循 robots.txt协议详细内容请跳转–原文链接第22行: ROBOTSTXT_OBEY = FalseStep 2 . 设置取消Cookies第36行: COOKIES_ENAB...

2017-06-16 17:08:27

阅读数 2499

评论数 1

如何快速学习一门新技术

当了解到一个新的技术名词,不会直接陷入细节,而是从宏观上把握它。了解它的背景,为何出现,解决什么问题,有什么同类技术,没有它之前我们如何工作。因为有了宏观的了解,我就能很容易把它和我熟悉的技术去建立关联,从而更快地理解它。

2017-06-09 16:03:36

阅读数 209

评论数 0

Scrapy 爬虫程序

http://cuiqingcai.com/3472.html 爬取www.23us.com:顶点小说网站小说,并将数据保存到数据库。

2017-06-07 16:41:50

阅读数 282

评论数 0

Python2.7 pip编码错误UnicodeDecodeError: 'utf8' codec can't decode byte 0xb0 in解决方法

pip安装 编码错误UnicodeDecodeError: ‘utf8’ codec can’t decode byte 0xb0 in解决方法:新建 sitecustomize.py文件,放到 Python27/Lib;内容:# encoding=utf8 import sysreload(s...

2017-05-25 17:15:28

阅读数 10027

评论数 3

java按照map的value排序

java的TreeMap可以排序,只可惜是按照key来排序的,或者重写其他Map的排序算法也都是按照key来排序的,下面贴出来一个按照value排序的算法: public class SortMap { public static void main(String[] args) th...

2017-05-11 17:19:20

阅读数 224

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭