- 博客(67)
- 收藏
- 关注
RSS订阅原创 Python 协程（ asyncio）
import asyncio# 1.async用于定义协程的关键字，async定义一个协程，async def foo(n): for i in range(10): print('wait %s s' % n) # await用于挂起阻塞的异步调用接口。 await asyncio.sleep(n) return ...
2019-05-22 17:22:13
551
转载 Pycharm 常用快捷键
#最重要的快捷键 1. ctrl+shift+A:万能命令行 2. shift两次:查看资源文件#新建工程第一步操作 1. module设置把空包分层去掉,compact empty middle package 2. 设置当前的工程是utf-8,设置的Editor-->File Encodings-->全部改成utf-8,#注释 1. c...
2019-04-26 09:17:51
239
转载 Python + selenium 点击空白处/指定的位置
from selenium import webdriverfrom selenium.webdriver.common.action_chains import ActionChainsdr = webdriver.Chrome()dr.get('http://www.baidu.com')ActionChains(dr).move_by_offset(200, 100).click(...
2019-04-25 11:39:54
11197
原创 GET 和 POST 请求方法 区别
GET 和 POST 请求方法有如下区别：1.GET 方式请求中参数是包含在 URL 里面的，数据可以在 URL 中看到，而 POST 请求的 URL 不会包含这些数据，数据都是通过 表单的形式传输，会包含在 Request Body 中。2.GET 方式请求提交的数据最多只有 1024 字节，而 POST 方式没有限制。3.所以一般来说，网站登录验证的时候，需要提交用户名密码...
2019-02-20 22:04:56
286
转载 Python 关键知识点
Python是一个面向对象的解释型的交互式高级脚本语言：Python被设计成一种高可读性的语言，因为它大量地使用了英语中的单词作为关键字，而且不像其他语言使用标点符号构成复杂的语法结构，Python的语法结构非常少。Python是一种面向对象的语言：即Python是支持面向对象的，支持在对象中进行代码封装。Python是一种解释型语言：即Python程序是在运行时由解释器解释执行的，因而不用事...
2019-02-18 08:49:44
235
原创 scrapy 保存数据终端命令
# json格式，默认为Unicode编码scrapy crawl itcast -o data.json# json lines格式，默认为Unicode编码scrapy crawl itcast -o data.jsonl# csv 逗号表达式，可用Excel打开scrapy crawl itcast -o data.csv# xml格式scrapy crawl itca...
2019-01-21 19:16:01
417
转载 使用 Flask-SocketIO 服务端和客户端的双向通信
介绍：flask-socketio模块实际上是封装了flask对websocket的支持，websocket在连接建立阶段是通过HTTP的握手方式进行的，这可以看做是为了兼容浏览器或者使用一些现成的功能来实现，这样一种捷径。当连接建立之后，客户端和服务端之间就不再进行HTTP通信了，所有信息交互都由websocket接管。Flask-SocketIO使Flask应用程序可以访问客户端和服务器之间的...
2019-01-18 10:14:51
1403
原创 Windows10 | Ubuntu 远程连接 Ubuntu服务器
1.安装ssh sudo apt-get install openssh-server 输入 "sudo ps -e | grep ssh" --> 回车 --> 有 sshd，说明 ssh 服务已经启动 如果没有启动，输入 "sudo service ssh start" --> 回车 --> ssh 服务就会启动。2.远程连接（在其他w...
2019-01-17 20:38:28
1221
原创 Pycharm git 使用简介
1.VCS 版本控制服务器(GIT CVS SVN)2.VCS—>checkout from version control 从服务器clone代码并且创建本地项目，默认切换到主分支(master)3 .gitignore文件:用来添加忽略文件4.右键—>Git—>Repository—>Branches 创建并切换到dev分支5.开发到一定阶段将dev分支...
2019-01-17 10:38:08
572
原创 Ubuntu18.04 更换 国内源
1.进入root模式 sudo -s2.进入ubuntu源的目录 cd /etc/apt3.备份sources.list cp sources.list sources.list.bak 4.修改sources.list 删除sources.list中的内容，把阿里云的源复制进source.list中 gedit sources.l...
2019-01-16 14:18:59
2134
转载 爬虫 selenium 绕过检测机制
使用selenium模拟浏览器进行数据抓取无疑是当下最通用的数据采集方案，它通吃各种数据加载方式，能够绕过客户JS加密，绕过爬虫检测，绕过签名机制。它的应用，使得许多网站的反采集策略形同虚设。由于selenium不会在HTTP请求数据中留下指纹，因此无法被网站直接识别和拦截。这是不是就意味着selenium真的就无法被网站屏蔽了呢？非也。selenium在运行的时候会暴露出一些预定义的Java...
2019-01-16 09:38:16
8338
2
原创 Pycharm | Windows | ubuntu 更换国内源
1.在pycharm Settings中找到下图 点击图中的 红色加号2.点击下图红色标识 3.把原来的网址更改成国内的镜像源 （推荐下面的镜像源）清华: https://pypi.tuna.tsinghua.edu.cn/simple豆瓣: http://pypi.douban.com/simple/阿里: http://mirrors.aliyun.com/pyp...
2019-01-15 20:26:11
1774
原创 乌班图（Ubuntu）pip 用豆瓣源
终端下把下面红色字换成你需要安装的模块即可 pip3 install -i https://pypi.douban.com/simple/ numpy
2019-01-15 19:23:48
1236
转载 Python 曼哈顿距离 切比雪夫距离 闵可夫斯基距离 标准化欧氏距离 马氏距离 编辑距离
1. 曼哈顿距离def Manhattan(vec1, vec2): npvec1, npvec2 = np.array(vec1), np.array(vec2) return np.abs(npvec1-npvec2).sum()# Manhattan_Distance,2. 切比雪夫距离def Chebyshev(vec1, vec2): npvec1,...
2019-01-14 22:41:58
3161
1
转载 Python 欧式距离 余弦相似度 用scikit cosine_similarity计算相似度 用scikit pairwise_distances计算相似度
1、欧式距离# 1) given two data points, calculate the euclidean distance between themdef get_distance(data1, data2): points = zip(data1, data2) diffs_squared_distance = [pow(a - b, 2) for (a, b) ...
2019-01-14 22:39:38
15892
原创 2018年大数据面试题总结
目前面试了多家大数据开发工程师，成长了很多，也知道了很多知识，下面和大家分享一下我遇到的面试题和答案。1.kafka集群的规模，消费速度是多少。答：一般中小型公司是10个节点，每秒20M左右。 2.hdfs上传文件的流程。答：这里描述的 是一个256M的文件上传过程① 由客户端 向 NameNode节点节点 发出请求②NameNode 向Client返回可以可以存数据的...
2019-01-14 10:56:15
931
转载 pymysql 的使用方法
1. 安装 pip install pymysql 2.import pymysql #导入 pymysql #打开数据库连接db= pymysql.connect(host="localhost",user="root", password="123456",db="test",port=3307) # 使用cursor()方法获取操作游标cur = db.cu...
2019-01-13 22:08:36
867
转载 TypeError: a bytes-like object is required, not 'str'
with open(meta_filename, 'wb') as f: json.dump(meta, f, indent=4)TypeError: a bytes-like object is required, not 'str'原因：open(meta_filename, 'wb') 是要以二进制写入，不能写入字符串，这里python2不会报错，但是在python3会报错：...
2019-01-13 19:37:58
724
转载 Ubuntu18.10&Ubuntu18.04安装Python虚拟环境
Ubuntu18.04版本里面自带了最新的Python3.6.5版本,在安装Python虚拟环境时需注意:1.首先是安装两个包pip3 install virtualenv # python虚拟环境pip3 install virtualenvwrapper # 封装了虚拟环境,支持一些简化命令然后通过 pip3 list 查看是否安装成功 2.添加环境变量(注意点!!!)...
2019-01-13 19:09:01
789
原创 乌班图 安装 MongoDB
1.Ubuntu软件包管理器apt（高级软件包工具）需要软件分销商的GPG密钥来确保软件包的一致性和真实性。 运行此命令将MongoDB密钥导入到您的服务器。注释：只需要在终端复制执行红色的命令即可，sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2930ADAE8CAF5059EE73BB4B58712A...
2019-01-12 21:13:44
360
转载 乌班图 mysql5.7 ERROR 1698 (28000): Access denied for user 'root'@'localhost'
看了很多解决mysql错误的博客，这篇最靠谱 所以进行了转载# 安装mysql服务sudo apt-get install mysql-server# 安装客户端sudo apt install mysql-client# 安装依赖sudo apt install libmysqlclient-dev# 检查状态sudo netstat -tap | grep mysql#----...
2019-01-12 20:51:54
392
转载 ubuntu 更新软件终端命令
ubuntu 更新软件sudo apt-get update获得最近的软件包的列表，列表中包括一些包的更新，比如这个包是否更新过，在换源后一定要做。sudo apt-get upgrade这里是进行一次升级，注意，升级中不仅是软件的升级，同时还可能包含系统的升级，要谨慎操作。sudo apt-get dist-upgrade与sudo apt-get upgrade类似，不过这个命...
2019-01-12 17:33:01
1864
转载 UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position ... 问题解决办法之一
使用Python写文件的时候，或者将网络数据流写入到本地文件的时候，大部分情况下会遇到：UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’ in position … 这个问题。 网络上有很多类似的文件讲述如何解决这个问题，但是无非就是encode，decode相关的，这是导致该问题出现的真正原因吗？不是的。 很多时候，我们使...
2019-01-12 17:10:49
478
原创 Windows10 安装 Redis数据库
1. 下载redis https://github.com/MicrosoftArchive/redis/releases 选择Redis-x64-3.2.100.zip2. 将你下载好的 redis 解压到你想放到的目录3. 添加环境变量 （小娜搜索环境变量）点击下图的 环境变量（N） 双击环境变量中的Path 点击新建 添加（C:\Program Fil...
2019-01-11 14:10:07
555
原创 Windows安装Scrapy 报错
pip install scrapy 安装Twisted 失败浏览器下载Twisted https://www.lfd.uci.edu/~gohlke/pythonlibs/#twistedcmd 进入你的虚拟环境Scripts目录（cd C:\Program Files (x86)\XuNi\Scrapy\Scripts）回车 activatecd C:\Users\Ad...
2019-01-10 20:36:35
350
原创 pyecharts 词云(WordCloud)
from pyecharts import WordCloudname = [u"Python",u"data analysis",u"hadoop",u"falsk"]#大概可以改变字体的颜色value = [10000,6000,4000,3000]#对应名字的权重wd = WordCloud(width=1300,height=620)wd.add("",name,value,wo...
2019-01-10 11:56:53
1464
原创 pyecharts 饼图
from pyecharts import Pieattr = ["铅笔","钢笔","画笔","圆珠笔","水笔","工笔"]v1 = [11,12,13,14,15,10]pie = Pie("饼图")pie.add("服装",attr,v1,is_label_show=True)pie.render('pie.html')
2019-01-10 11:56:30
1374
原创 pyecharts Map(地图)
from pyecharts import Mapvalue= [120,110,90]attr = ['河南','河北','湖北']map = Map("Map 结合 VisualMap",width=1200,height=600)map.add("",attr,value,maptype='china',is_visualmap=True,visual_text_color='#...
2019-01-10 11:56:16
6064
2
原创 虚拟环境 模块 导入 导出
pip freeze >requirements.txt导出模块pip install -r requirements.txt导入模块
2019-01-10 11:55:37
710
转载 pyecharts 动态散点图
from pyecharts import EffectScatterv1 = [1,2,3]v2 = [25,20,15]es = EffectScatter("动态散点图")es.add("effetScatter",v1,v2)es.render('effectScatter.html')
2019-01-09 20:04:38
2876
原创 pyecharts 仪表盘
from pyecharts import Gaugegauge = Gauge("仪表盘")gauge.add("及格率","不及格率",66.66)gauge.render('gauge.html')
2019-01-09 19:59:27
1868
原创 pyecharts 滑动(slider)树状图
from pyecharts import Barattr = ["{}天".format(i) for i in range(30)]v1 = [random.randint(1,30) for _ in range(30)]bar = Bar("Bar - datazoom - slider 实例")bar.add("",attr, v1,is_label_show=True,is_...
2019-01-09 19:48:38
2723
转载 pyecharts 动态树状图
from pyecharts import Barbar = Bar("我的第一个图表", "这里是副标题")bar.add("服装", ["衬衫", "羊毛衫", "雪纺衫", "裤子", "高跟鞋", "袜子"], [5, 20, 36, 10, 75, 90])#树状图的名称和数值(高度)# bar.print_e
2019-01-09 19:32:58
2336
3
原创 matplotlib 树状图
import numpy as npimport matplotlib.pyplot as pltk = 16x = np.arange(k)#x轴的范围y = np.random.rand(k)#随机生成个数作为柱状图的高度值plt.bar(x,y)#画出x 和 y的柱状图for x,y in zip(x,y):#增加数值 #在树状图的顶部绘制数值居中靠底边对齐 水平 垂...
2019-01-09 19:20:29
1047
原创 matplotlib sinx cosx 图像
from matplotlib import pyplot as pltimport numpy as npplt.figure(figsize=(12,6))#生成的图片的大小x = np.linspace(-2 * np.pi,2*np.pi,100)#设置一个序列(-2pi,2pi,之间设置100个点)y = np.sin(x)#需要绘制的函数y1 = np.cos(x)pl...
2019-01-09 17:59:04
9460
原创 matplotlib 折线图
from matplotlib import pyplot as plt#数据在x轴的位置,是一个可以迭代的对象x = range(2,26,2)y = [15,13,14.5,17,20,25,26,26,24,22,18,15]#数据在y周的位置是一个可迭代的对象#x轴 y轴的数据一起组成了所有要绘制出的图标plt.plot(x,y)#传入x和y 通过plot绘制出折线图plt...
2019-01-09 17:36:54
2471
转载 vim i、a、o、 s、 I、 A、 O、 S 区别
i:在光标所在字符前开始插入a:在光标所在字符后开始插入o:在光标所在行的下面另起一新行插入s:删除光标所在的字符并开始插入I:在光标所在行的行首开始插入 如果行首有空格则在空格之后插入A:在光标所在你行的行尾开始插入O:在光标所在行的上面另起一行开始插入S:删除光标所在行并开始插入另外 u 撤销上一步的操作 Ctrl+r 恢复上一步被撤销的操作-----------------...
2019-01-09 16:24:48
4858
转载 python 斗破苍穹 词云
https://blog.csdn.net/csdnnews/article/details/82879836?tdsourcetag=s_pcqq_aiomsg
2019-01-09 15:47:18
328
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人