- 博客(16)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 ps -ef 和 ps aux 区别
ps aux 是用BSD的格式来显示 这个进程显示的项目有：USER , PID , %CPU , %MEM , VSZ , RSS , TTY , STAT , START , TIME , COMMANDps -ef 是用标准的格式显示 这个进程显示的项目有：UID , PID , PPID , C , STIME , TTY , TIME , CMD...
2018-07-30 13:49:04
468
原创 Python 元组
# PS 元组和列表的相同点 不同点# 列表与元组都是容器，是一系列的对象# 二者都可以包含任意类型的元素甚至可以是一个序列# 列表是可变的，而元组是不可变的。这是在 Python 语言中二者唯一的差别。# 元祖不可修改# 新建一元组tuple1 = ('yang', 'wang', 'hello', 5, 300)print(tuple1)# ('yang', 'wang...
2018-07-20 11:15:02
206
原创 scrapy 各组件执行顺序
Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。 Downloader（下载器）：负责下载Scrapy Engine(引擎)发送...
2018-07-20 10:04:22
3667
原创 Python 列表
# /usr/bin/env python# -*- coding: utf-8 -*-# @Time : 18-7-19 下午6:14# @Author : 杨星星# @Email : yangshilong_liu@163.com# @File : python_list_.py# @Software: PyCharm# 创建一个空列表new_list...
2018-07-19 19:29:01
241
原创 simhash局部敏感哈希 文章去重
传统的Hash算法只负责将原始内容尽量均匀随机地映射为一个签名值，原理上仅相当于伪随机数产生算法。传统的hash算法产生的两个签名，如果原始内容在一定概率下是相等的；如果不相等，除了说明原始内容不相等外，不再提供任何信息，因为即使原始内容只相差一个字节，所产生的签名也很可能差别很大。所以传统的Hash是无法在签名的维度上来衡量原内容的相似度，而SimHash本身属于一种局部敏感哈希算法，它产生的h...
2018-07-18 18:49:02
504
原创 chrome 浏览器扩展插件
1 下载需要扩展的插件2 改后缀为zip 或者 rar3 解压文件 到指定目录 4 修改_metadata 文件名为 metadata5 打开chrome 浏览器 chrome://extensions/6 打开发者模式 > 加载已解压的扩展程序 > 打开我们刚才解压的文件即可...
2018-07-16 14:58:26
271
原创 python map reduce的使用
def square(x): return x*xa=map(square,[1,2,3]) print(a) #输出为<map object at 0x0033CFB0> 可以看出map返回的实际上是一个map对象print(list(a)) #输出为[1, 4, 9] 通过list（）方式 显示出来 #也可以通过for循环来取出内...
2018-07-16 11:48:18
347
原创 python 连接 MySQL数据库报错pymysql.err.InterfaceError: (0, '')
今天测试数据的入对数据库操作的时候出现了报错pymysql.err.InterfaceError: (0, ‘‘)后来发现，是我把数据库的连接代码放到了函数外边 """ db = pymysql.connect(host=settings.MYSQL_HOST, port=settings.MYS...
2018-07-12 15:10:33
8686
1
原创 Python 读取文件错误解决办法
在读取文件时候比如读取 xxx.csv 时候 可能报编码错误类似于 'xxx' codec can't decode byte 0xac in position 211: illegal multibyte sequenid_list = []with open('E:/work_spider/xxx/xx.csv', "r", encoding="utf-8") as csvfile: ...
2018-07-10 22:32:36
5998
原创 决策树的集成 —随机森林
决策树的缺点在于，即使做了预剪枝，也会经常的过拟合，泛化能力很差，所以在大多数应用中。往往使用下面的的集成方法来代替蛋单棵决策树。决策树的一个主要缺点在于经常对训练的数据过拟合。随机森林是解决这个问题的一种方法。随机森林的本质山过得很多决策树的集合，其中那个每棵树都和其他树略有不同。随机森林背后砈思想史是，每棵树的预测都可能相对较好，但可能对部分书聚过拟合，如果我们构建很多树，并且每棵树都可以预测...
2018-07-05 15:03:45
2274
原创 ndarray的矩阵运算
数组是编程中的概念，矩阵、矢量是数学概念。在计算机编程中，矩阵可以用数组形式定义，矢量可以用结构定义!1. 矢量运算：相同大小的数组间运算应用在元素上# 矢量与矢量运算arr = np.array([[1, 2, 3], [4, 5, 6]])print("元素相乘：")print(arr * arr)print("矩阵相加：")print(arr +...
2018-07-03 16:10:12
725
原创 ndarray 多维数组
ndarray的随机创建通过随机抽样 (numpy.random) 生成随机数据。示例代码：# 导入numpy，别名npimport numpy as np# 生成指定维度大小（3行4列）的随机多维浮点型数据（二维），rand固定区间0.0 ~ 1.0arr = np.random.rand(3, 4)print(arr)print(type(arr))# 生成指定维度大小（3行4...
2018-07-03 11:27:27
347
转载 Python random函数
# random各种使用方法import random # 随机生成[0.1)的浮点数print("random():", random.random()) # 随机生成1000-9999之间的整数print("randint(1000, 9999):", random.randint(1000, 9999)) # 随机生成0-20之间的偶数print("randrange(...
2018-07-03 10:01:29
816
原创 Linux Shell 中 2＞&1的含义
一般情况下，每个 Unix/Linux 命令运行时都会打开三个文件：标准输入文件(stdin)：stdin的文件描述符为0，Unix程序默认从stdin读取数据。标准输出文件(stdout)：stdout 的文件描述符为1，Unix程序默认向stdout输出数据。标准错误文件(stderr)：stderr的文件描述符为2，Unix程序会向stderr流中写入错误信息。 command >ou...
2018-07-02 17:03:49
400
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人