- 博客(67)
- 收藏
- 关注
原创 Python 协程( asyncio)
import asyncio# 1.async用于定义协程的关键字,async定义一个协程,async def foo(n): for i in range(10): print('wait %s s' % n) # await用于挂起阻塞的异步调用接口。 await asyncio.sleep(n) return ...
2019-05-22 17:22:13 565
转载 Pycharm 常用快捷键
#最重要的快捷键 1. ctrl+shift+A:万能命令行 2. shift两次:查看资源文件#新建工程第一步操作 1. module设置把空包分层去掉,compact empty middle package 2. 设置当前的工程是utf-8,设置的Editor-->File Encodings-->全部改成utf-8,#注释 1. c...
2019-04-26 09:17:51 252
转载 Python + selenium 点击空白处/指定的位置
from selenium import webdriverfrom selenium.webdriver.common.action_chains import ActionChainsdr = webdriver.Chrome()dr.get('http://www.baidu.com')ActionChains(dr).move_by_offset(200, 100).click(...
2019-04-25 11:39:54 11235
原创 GET 和 POST 请求方法 区别
GET 和 POST 请求方法有如下区别:1.GET 方式请求中参数是包含在 URL 里面的,数据可以在 URL 中看到,而 POST 请求的 URL 不会包含这些数据,数据都是通过 表单的形式传输,会包含在 Request Body 中。2.GET 方式请求提交的数据最多只有 1024 字节,而 POST 方式没有限制。3.所以一般来说,网站登录验证的时候,需要提交用户名密码...
2019-02-20 22:04:56 298
转载 Python 关键知识点
Python是一个面向对象的解释型的交互式高级脚本语言:Python被设计成一种高可读性的语言,因为它大量地使用了英语中的单词作为关键字,而且不像其他语言使用标点符号构成复杂的语法结构,Python的语法结构非常少。Python是一种面向对象的语言:即Python是支持面向对象的,支持在对象中进行代码封装。Python是一种解释型语言:即Python程序是在运行时由解释器解释执行的,因而不用事...
2019-02-18 08:49:44 247
原创 scrapy 保存数据终端命令
# json格式,默认为Unicode编码scrapy crawl itcast -o data.json# json lines格式,默认为Unicode编码scrapy crawl itcast -o data.jsonl# csv 逗号表达式,可用Excel打开scrapy crawl itcast -o data.csv# xml格式scrapy crawl itca...
2019-01-21 19:16:01 429
转载 使用 Flask-SocketIO 服务端和客户端的双向通信
介绍:flask-socketio模块实际上是封装了flask对websocket的支持,websocket在连接建立阶段是通过HTTP的握手方式进行的,这可以看做是为了兼容浏览器或者使用一些现成的功能来实现,这样一种捷径。当连接建立之后,客户端和服务端之间就不再进行HTTP通信了,所有信息交互都由websocket接管。Flask-SocketIO使Flask应用程序可以访问客户端和服务器之间的...
2019-01-18 10:14:51 1416
原创 Windows10 | Ubuntu 远程连接 Ubuntu服务器
1.安装ssh sudo apt-get install openssh-server 输入 "sudo ps -e | grep ssh" --> 回车 --> 有 sshd,说明 ssh 服务已经启动 如果没有启动,输入 "sudo service ssh start" --> 回车 --> ssh 服务就会启动。2.远程连接(在其他w...
2019-01-17 20:38:28 1251
原创 Pycharm git 使用简介
1.VCS 版本控制服务器(GIT CVS SVN)2.VCS—>checkout from version control 从服务器clone代码并且创建本地项目,默认切换到主分支(master)3 .gitignore文件:用来添加忽略文件4.右键—>Git—>Repository—>Branches 创建并切换到dev分支5.开发到一定阶段将dev分支...
2019-01-17 10:38:08 583
原创 Ubuntu18.04 更换 国内源
1.进入root模式 sudo -s2.进入ubuntu源的目录 cd /etc/apt3.备份sources.list cp sources.list sources.list.bak 4.修改sources.list 删除sources.list中的内容,把阿里云的源复制进source.list中 gedit sources.l...
2019-01-16 14:18:59 2148
转载 爬虫 selenium 绕过检测机制
使用selenium模拟浏览器进行数据抓取无疑是当下最通用的数据采集方案,它通吃各种数据加载方式,能够绕过客户JS加密,绕过爬虫检测,绕过签名机制。它的应用,使得许多网站的反采集策略形同虚设。由于selenium不会在HTTP请求数据中留下指纹,因此无法被网站直接识别和拦截。这是不是就意味着selenium真的就无法被网站屏蔽了呢?非也。selenium在运行的时候会暴露出一些预定义的Java...
2019-01-16 09:38:16 8364 2
原创 Pycharm | Windows | ubuntu 更换国内源
1.在pycharm Settings中找到下图 点击图中的 红色加号2.点击下图红色标识 3.把原来的网址更改成国内的镜像源 (推荐下面的镜像源)清华: https://pypi.tuna.tsinghua.edu.cn/simple豆瓣: http://pypi.douban.com/simple/阿里: http://mirrors.aliyun.com/pyp...
2019-01-15 20:26:11 1792
原创 乌班图(Ubuntu)pip 用豆瓣源
终端下把下面红色字换成你需要安装的模块即可 pip3 install -i https://pypi.douban.com/simple/ numpy
2019-01-15 19:23:48 1242
转载 Python 曼哈顿距离 切比雪夫距离 闵可夫斯基距离 标准化欧氏距离 马氏距离 编辑距离
1. 曼哈顿距离def Manhattan(vec1, vec2): npvec1, npvec2 = np.array(vec1), np.array(vec2) return np.abs(npvec1-npvec2).sum()# Manhattan_Distance,2. 切比雪夫距离def Chebyshev(vec1, vec2): npvec1,...
2019-01-14 22:41:58 3185 1
转载 Python 欧式距离 余弦相似度 用scikit cosine_similarity计算相似度 用scikit pairwise_distances计算相似度
1、欧式距离# 1) given two data points, calculate the euclidean distance between themdef get_distance(data1, data2): points = zip(data1, data2) diffs_squared_distance = [pow(a - b, 2) for (a, b) ...
2019-01-14 22:39:38 15911
原创 2018年大数据面试题总结
目前面试了多家大数据开发工程师,成长了很多,也知道了很多知识,下面和大家分享一下我遇到的面试题和答案。1.kafka集群的规模,消费速度是多少。答:一般中小型公司是10个节点,每秒20M左右。 2.hdfs上传文件的流程。答:这里描述的 是一个256M的文件上传过程① 由客户端 向 NameNode节点节点 发出请求②NameNode 向Client返回可以可以存数据的...
2019-01-14 10:56:15 932
转载 pymysql 的使用方法
1. 安装 pip install pymysql 2.import pymysql #导入 pymysql #打开数据库连接db= pymysql.connect(host="localhost",user="root", password="123456",db="test",port=3307) # 使用cursor()方法获取操作游标cur = db.cu...
2019-01-13 22:08:36 879
转载 TypeError: a bytes-like object is required, not 'str'
with open(meta_filename, 'wb') as f: json.dump(meta, f, indent=4)TypeError: a bytes-like object is required, not 'str'原因:open(meta_filename, 'wb') 是要以二进制写入,不能写入字符串,这里python2不会报错,但是在python3会报错:...
2019-01-13 19:37:58 729
转载 Ubuntu18.10&Ubuntu18.04安装Python虚拟环境
Ubuntu18.04版本里面自带了最新的Python3.6.5版本,在安装Python虚拟环境时需注意:1.首先是安装两个包pip3 install virtualenv # python虚拟环境pip3 install virtualenvwrapper # 封装了虚拟环境,支持一些简化命令然后通过 pip3 list 查看是否安装成功 2.添加环境变量(注意点!!!)...
2019-01-13 19:09:01 807
原创 乌班图 安装 MongoDB
1.Ubuntu软件包管理器apt(高级软件包工具)需要软件分销商的GPG密钥来确保软件包的一致性和真实性。 运行此命令将MongoDB密钥导入到您的服务器。注释:只需要在终端复制执行红色的命令即可,sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2930ADAE8CAF5059EE73BB4B58712A...
2019-01-12 21:13:44 364
转载 乌班图 mysql5.7 ERROR 1698 (28000): Access denied for user 'root'@'localhost'
看了很多解决mysql错误的博客,这篇最靠谱 所以进行了转载# 安装mysql服务sudo apt-get install mysql-server# 安装客户端sudo apt install mysql-client# 安装依赖sudo apt install libmysqlclient-dev# 检查状态sudo netstat -tap | grep mysql#----...
2019-01-12 20:51:54 397
转载 ubuntu 更新软件终端命令
ubuntu 更新软件sudo apt-get update获得最近的软件包的列表,列表中包括一些包的更新,比如这个包是否更新过,在换源后一定要做。sudo apt-get upgrade这里是进行一次升级,注意,升级中不仅是软件的升级,同时还可能包含系统的升级,要谨慎操作。sudo apt-get dist-upgrade与sudo apt-get upgrade类似,不过这个命...
2019-01-12 17:33:01 1870
转载 UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position ... 问题解决办法之一
使用Python写文件的时候,或者将网络数据流写入到本地文件的时候,大部分情况下会遇到:UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’ in position … 这个问题。 网络上有很多类似的文件讲述如何解决这个问题,但是无非就是encode,decode相关的,这是导致该问题出现的真正原因吗?不是的。 很多时候,我们使...
2019-01-12 17:10:49 490
原创 Windows10 安装 Redis数据库
1. 下载redis https://github.com/MicrosoftArchive/redis/releases 选择Redis-x64-3.2.100.zip2. 将你下载好的 redis 解压到你想放到的目录3. 添加环境变量 (小娜搜索环境变量)点击下图的 环境变量(N) 双击环境变量中的Path 点击新建 添加(C:\Program Fil...
2019-01-11 14:10:07 561
原创 Windows安装Scrapy 报错
pip install scrapy 安装Twisted 失败浏览器下载Twisted https://www.lfd.uci.edu/~gohlke/pythonlibs/#twistedcmd 进入你的虚拟环境Scripts目录(cd C:\Program Files (x86)\XuNi\Scrapy\Scripts)回车 activatecd C:\Users\Ad...
2019-01-10 20:36:35 364
原创 pyecharts 词云(WordCloud)
from pyecharts import WordCloudname = [u"Python",u"data analysis",u"hadoop",u"falsk"]#大概可以改变字体的颜色value = [10000,6000,4000,3000]#对应名字的权重wd = WordCloud(width=1300,height=620)wd.add("",name,value,wo...
2019-01-10 11:56:53 1466
原创 pyecharts 饼图
from pyecharts import Pieattr = ["铅笔","钢笔","画笔","圆珠笔","水笔","工笔"]v1 = [11,12,13,14,15,10]pie = Pie("饼图")pie.add("服装",attr,v1,is_label_show=True)pie.render('pie.html')
2019-01-10 11:56:30 1383
原创 pyecharts Map(地图)
from pyecharts import Mapvalue= [120,110,90]attr = ['河南','河北','湖北']map = Map("Map 结合 VisualMap",width=1200,height=600)map.add("",attr,value,maptype='china',is_visualmap=True,visual_text_color='#...
2019-01-10 11:56:16 6108 2
原创 虚拟环境 模块 导入 导出
pip freeze >requirements.txt导出模块pip install -r requirements.txt导入模块
2019-01-10 11:55:37 713
转载 pyecharts 动态散点图
from pyecharts import EffectScatterv1 = [1,2,3]v2 = [25,20,15]es = EffectScatter("动态散点图")es.add("effetScatter",v1,v2)es.render('effectScatter.html')
2019-01-09 20:04:38 2890
原创 pyecharts 仪表盘
from pyecharts import Gaugegauge = Gauge("仪表盘")gauge.add("及格率","不及格率",66.66)gauge.render('gauge.html')
2019-01-09 19:59:27 1875
原创 pyecharts 滑动(slider)树状图
from pyecharts import Barattr = ["{}天".format(i) for i in range(30)]v1 = [random.randint(1,30) for _ in range(30)]bar = Bar("Bar - datazoom - slider 实例")bar.add("",attr, v1,is_label_show=True,is_...
2019-01-09 19:48:38 2737
转载 pyecharts 动态树状图
from pyecharts import Barbar = Bar("我的第一个图表", "这里是副标题")bar.add("服装", ["衬衫", "羊毛衫", "雪纺衫", "裤子", "高跟鞋", "袜子"], [5, 20, 36, 10, 75, 90])#树状图的名称和数值(高度)# bar.print_e
2019-01-09 19:32:58 2385 3
原创 matplotlib 树状图
import numpy as npimport matplotlib.pyplot as pltk = 16x = np.arange(k)#x轴的范围y = np.random.rand(k)#随机生成个数作为柱状图的高度值plt.bar(x,y)#画出x 和 y的柱状图for x,y in zip(x,y):#增加数值 #在树状图的顶部绘制数值居中靠底边对齐 水平 垂...
2019-01-09 19:20:29 1054
原创 matplotlib sinx cosx 图像
from matplotlib import pyplot as pltimport numpy as npplt.figure(figsize=(12,6))#生成的图片的大小x = np.linspace(-2 * np.pi,2*np.pi,100)#设置一个序列(-2pi,2pi,之间设置100个点)y = np.sin(x)#需要绘制的函数y1 = np.cos(x)pl...
2019-01-09 17:59:04 9530
原创 matplotlib 折线图
from matplotlib import pyplot as plt#数据在x轴的位置,是一个可以迭代的对象x = range(2,26,2)y = [15,13,14.5,17,20,25,26,26,24,22,18,15]#数据在y周的位置是一个可迭代的对象#x轴 y轴的数据一起组成了所有要绘制出的图标plt.plot(x,y)#传入x和y 通过plot绘制出折线图plt...
2019-01-09 17:36:54 2474
转载 vim i、a、o、 s、 I、 A、 O、 S 区别
i:在光标所在字符前开始插入a:在光标所在字符后开始插入o:在光标所在行的下面另起一新行插入s:删除光标所在的字符并开始插入I:在光标所在行的行首开始插入 如果行首有空格则在空格之后插入A:在光标所在你行的行尾开始插入O:在光标所在行的上面另起一行开始插入S:删除光标所在行并开始插入另外 u 撤销上一步的操作 Ctrl+r 恢复上一步被撤销的操作-----------------...
2019-01-09 16:24:48 4886
转载 python 斗破苍穹 词云
https://blog.csdn.net/csdnnews/article/details/82879836?tdsourcetag=s_pcqq_aiomsg
2019-01-09 15:47:18 341
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人