![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
进击的黑蛋
佬
展开
-
liunx下安装python3
https://www.cnblogs.com/knighterrant/p/10719887.html转载 2021-07-08 09:57:57 · 151 阅读 · 0 评论 -
根据词频生成词云
#-*- coding: utf-8 -*-#.py文件名不能和引用的库名重复"""Created on Sun Mar 8 11:01:44 2020@author: toto""" import os,jieba from wordcloud import WordCloudfrom PIL import Imageimport numpy as np cwd = os.getcwd()#当前工作路径 #os.path.join(cwd,文件名)== 文件名jieba.原创 2021-02-03 10:25:33 · 1703 阅读 · 0 评论 -
Yelp点评网站官方数据集json转csv格式方法
Yelp点评网站官方数据集json转csv格式方法import csvimport jsonimport sysimport osimport pandas as pdimport numpy as np#我这里.py文件和数据放在同一个路径下了,如果不在同一个路径下,自己可以修改,注意路径要用//json_file_path='yelp_academic_dataset_review.json'csv_file_path='yelp_academic_dataset_review.c转载 2021-01-20 23:50:08 · 390 阅读 · 0 评论 -
PyCharm使用技巧及常用快捷键
常用快捷键1、Ctrl + Enter:在下方新建行但不移动光标;2、Shift + Enter:在下方新建行并移到新行行首;3、Ctrl + /:注释(取消注释)选择的行;4、Ctrl + Alt + L:格式化代码(与QQ锁定热键冲突,关闭QQ的热键);5、Ctrl + Shift + +:展开所有的代码块;6、Ctrl + Shift + -:收缩所有的代码块;7、Ctrl + Alt + I:自动缩进行;8、Alt + Enter:优化代码,提示信息实现自动导包;9、Ctrl +转载 2020-08-11 15:15:07 · 239 阅读 · 0 评论 -
python爬虫之js逆向(三)
目标网站 http://webapi.cninfo.com.cn/overview.html#/home首先 ,请求是post请求,没有data参数,试了一下直接复制请求头去发送post请求不对。然后看到mcode这个参数,是是加密的,ctrl+shift+r 全局搜索mcode这个参数,找到红框里面的调用方法继续研究。肯定是这个方法生成的mecode这就是生成mcode的函数 直接拿下...原创 2020-01-06 10:03:07 · 736 阅读 · 1 评论 -
matplotlib基础(二)
#会折线图plt.figure(figsize=(8,7)) #设置画布plt.plot(values[:,0],values[:,2],color='r',linestyle='--',marker="o") #marker 绘制点线图plt.xlabel("年份")plt.ylabel("生产总值")plt.ylim((0,225000))plt.xticks(range(0,7...原创 2019-12-04 20:15:56 · 357 阅读 · 0 评论 -
Matpltlib基础学习篇(一)
import matplotlib.pyplot as pltdata=np.arange(0,1,0.1)plt.title('line') #添加标题plt.xlabel('x') #添加x轴的名称plt.ylabel('y') #添加y轴的名称plt.xlim((0,1)) #确定x轴的范围plt.ylim((0,1))#确定y轴de范围plt.xticks([0,0.2,0...原创 2019-12-02 21:43:51 · 305 阅读 · 0 评论 -
numpy基础(二)
arr1=np.array([[0,0,0],[1,1,1],[2,2,2],[3,3,3]])print(arr1.shape)arr2=np.array([1,2,3])print(arr1+arr2)arr3=np.array([1,2,3,4]).reshape((4,1))print(arr3)print(arr1+arr3)arr=np.arange(100).resha...原创 2019-11-28 21:32:04 · 427 阅读 · 0 评论 -
Numpy的基本语法
import numpy as nparr1=np.arange(12).reshape(3,4)print(arr1)arr2=arr1*3print(arr2)print(np.hstack((arr1,arr2)))print(np.vstack((arr1,arr2)))print(arr1.reshape(3,4).ndim) #查看数组维度print("数...原创 2019-11-27 21:11:34 · 384 阅读 · 0 评论 -
python 爬虫 GB2312 乱码
python 爬虫 GB2312 乱码 问题话不多说上图解决原创 2019-11-23 16:34:39 · 327 阅读 · 0 评论 -
python 爬取淘宝第二弹(淘宝数据爬取)
python 爬取淘宝第二弹(淘宝数据爬取)经过上次淘宝登录以后,可以进行淘宝商品的采集了,首先我们需要知道的是我们需要的数据在哪里,我通过搜索第一个手机的名字可以看到在这个页面中有我们想要的数据,但是他是镶嵌在script标签里面的我们只能通过正则拿到他。首先经验可知get请求一般搜索关键字都会在链接里出现,页数也是会显示在链接里面 淘宝我们不能只采集一页,所以说我们需要分析链接进行翻页操...原创 2019-11-21 20:46:49 · 2563 阅读 · 9 评论 -
百度批量翻译
工作需要进行批量翻译。调用百度翻译api接口,获取appid和secretKeyimport httpimport hashlibimport urllib.requestimport randomimport jsonimport pymysqldef baidufanyi(eachLine,id,sql,cur): result=[] appid = '' ...原创 2019-11-12 10:08:17 · 1278 阅读 · 1 评论 -
python 爬取淘宝第一弹(淘宝登录)
前言2018年7月份,当时我正在学习爬虫,看过一个教程视频是用selenium爬取淘宝,当时因为种种原因(当然还是因为自己太lan)没有去写,但当11月份想找工作时,想找一个爬虫练手,能够写上简历充当项目,当我在去看视频的时候学习的时候,当时自信满满的写完代码,竟然没有登录不能进行搜索!!!好吧那我就做一个滑块功能吧,写完了代码,不知道为何划过去不好使,但是我自己手动滑动滑块完全ok,当时就蒙了...原创 2019-11-08 16:33:18 · 35317 阅读 · 3 评论 -
python 操作excel表
excel写入操作#导入xlwt库import xlwtimport os# 步骤1:获取excel文件的绝对路径dirPath = os.path.join(os.getcwd(),"data")if not os.path.exists(dirPath): os.mkdir(dirPath)excelPath = os.path.join(dirPath,"data.x...原创 2019-11-07 08:53:27 · 154 阅读 · 0 评论 -
socket 套接字服务器端和客户端发送信息
socket 套接字服务器端和客户端发送信息这是以前刚开始接触python的时候写的。记录一下服务器端import socketimport threadinghost=''port=6889def cilenThred(conn,addr): print("成功接受客户端{}的连接:{}".format(addr[0],str(addr[1]))) #服务器向客户...原创 2019-11-05 23:29:36 · 284 阅读 · 0 评论 -
python爬虫之js逆向(二)
python爬虫之js逆向(二)写在前面每天一更,养成好习惯从我做起。真正想做成一件事,不取决于你有多少热情,而是看你能多久坚持。千万别奢望光有热情就能得偿所愿。网站分析今天的带大家了解一下md5加密,目标网站是有道翻译:http://fanyi.youdao.com/首先第一步打开网址(我用的是google)f12,查看是否是post请求,随便输入一个字,右击查看网页源代码,ctrl+...原创 2019-11-05 17:16:20 · 5361 阅读 · 0 评论 -
python爬虫之js逆向(一)
python爬虫之js逆向(一)写在前面 现在各种反爬手段很多,虽然我在工作的时候并没有遇到过(我的工作就是爬虫,但是基本上都是爬外网,google,都是企业级爬虫,很少像这样写垂直爬虫)。在平时的技术交流群中经常看到大神们说一些我没遇到过的的反爬手段,为了能够插上话题,为了升职加薪,今天终于下定决心开始学习各种反爬,并在此记录分享心得。本人刚刚上班没几个月,小白一个,有不对的地方希望大神能够...原创 2019-11-04 21:20:16 · 5352 阅读 · 2 评论