![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习
张峰π_π
这个作者很懒,什么都没留下…
展开
-
scrapy爬取360美食图片
基本介绍上面有篇博客专门对scrapy入门爬取进行了一个简单介绍,而且实现了对新闻网站数据的爬取,这次我们将要爬取360上面的美食图片。我们将图片相关的信息保存在MYSQL和MongDB数据库中,首先我们需要安装好MYSQL和MongDB数据库,安装这一块大家可以参考网上的安装教程。需求分析首先我们需要了解我们爬取的目标网站:https://image.so.com/z?ch=food,打开...原创 2019-11-09 22:03:26 · 562 阅读 · 0 评论 -
pyecharts绘图
基本介绍pyecharts是一个基于百度开发的echarts的一个第三方库,它绘制的图像功能更强大。交互性比较强,在用作展示等方面是一个值得使用的第三方库。在了解这个第三方库之前我们了解一下Echarts.ECharts是一个免费的、功能强大的、可视化的一个库。它可以非常简单的往软件产品中添加直观的、动态的和高度可定制化的图表。它是一个全新的基于zrender的用纯JavaScript打造完...原创 2019-11-09 15:28:21 · 5253 阅读 · 2 评论 -
seaborn绘图包的使用
Seaborn概述Seaborn是基于matplotlib的Python数据可视化库,并与pandas数据结构紧密集成。它提供了一个高级界面,用于绘制引人入胜且内容丰富的统计图形。它相对matplotlib用起来很简单,只需要简单几行代码就能绘制出比较好的图。seaborn提供的一些功能面向数据集的API,用于检查多个变量之间的关系专门支持使用分类变量显示观察结果或汇总统计信息可视化单...原创 2019-10-28 12:19:57 · 1284 阅读 · 0 评论 -
scrapy框架入门
scrapy框架Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。Scrapy 使用了 Twisted’twɪstɪd异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各...原创 2019-10-24 19:16:38 · 340 阅读 · 0 评论 -
pandas 入门学习
概述pandas作为python的第三方库,它所包含的数据结构和数据处理工具的设计使其在python中进行数据清洗和分析非常快捷,pandas经常是和其他数值计算工具,Numpy和Scipy,以及数据可视化工具比如matplotlib一起使用的。pandas支持大部分Numpy语言风格的数组计算。pandas的 常用的工具数据结构:Series和DataFrame,这两种数据结构为大多数提供了...原创 2019-10-21 17:03:29 · 456 阅读 · 0 评论 -
numpy科学计算入门
为什么要用numpy?NumPy是一个开源的Python科学计算基础库,包含:• 一个强大的N维数组对象 ndarray • 广播功能函数 • 整合C/C++/Fortran代码的工具 • 线性代数、傅里叶变换、随机数生成等功能NumPy是SciPy、Pandas等数据处理或科学计算库的基础在numpy中我们会引入一种数组N维数组对象:ndarray,那么大家肯定在想Python已有列表类...原创 2019-06-02 18:01:34 · 265 阅读 · 0 评论 -
wordcloud绘制词云图
1.wordcloud的安装我直接推荐一种简单方式cmd命令行输入以下命令就可以了。pip install wordcloud2.wordcloud库介绍wordcloud库,可以说是python非常优秀的词云展示第三方库。词云以词语为基本单位更加直观和艺术的展示文本,下面给大家看一个示例:3.wordcloud的使用接下来,介绍下wordcloud的基本使用。wordcloud...原创 2019-05-27 18:05:51 · 4394 阅读 · 2 评论 -
PEP8 编码规范
这里我就直接转载对python编程不是很熟的,可以看看下面的两个链接。PEP8 编码规范官网文档Python PEP8 编码规范中文版转载 2019-05-27 10:56:01 · 121 阅读 · 0 评论 -
rgb颜色查询对照
这个看了一下别人的博客,觉得写得很不错,就直接转载,有兴趣的可以看一下。https://blog.csdn.net/u010997144/article/details/52084386转载 2019-05-27 10:50:59 · 480 阅读 · 0 评论 -
python基于Matplotlib模块的绘图2
上一篇博客简单介绍了一些如何进行绘图,和如何设置各种图形格式,这篇博客主要讲解一下一些细节部分以及具体的实例操作。实例1有时我们需要绘制一个图形,需要指定它的大小并且将其输出保存下来,这个时候我们需要用到plt.figure函数和plt.savefig()函数,这两个函数前一个是生成一个指定大小的figure,单位是英寸,如果我们不生成,后面也会自动创建。plt.savefig()函数则是保存...原创 2019-09-16 16:14:51 · 157 阅读 · 2 评论 -
Python-matplotlib入门--基础图表的绘制(持续更新中)
通过前面几篇博客的大致内容,我们也能大致学会绘制图像,然后在我们做数据分析,统计分析的时候,我们需要用特定的图像来展示特定的数据,从而达到可视化的效果,让结果更加直观,这篇博客我将会详细介绍一下每一种图例。实例目录:1、线性图2、直方图3、条状图4、多序列条状图5、饼状图6、极坐标图7、散点图8、3D曲面首先需要区分清楚概念:直方图和条形图。条形图:条形图用长条形表示每一个类...原创 2019-09-16 20:50:06 · 579 阅读 · 3 评论 -
爬虫系列-urllib基本库的使用
学习爬虫,最基础便是模拟浏览器向服务器发出请求,请求需要来我们自己来构造?以及如何构造?具体怎么实现?服务器的响应和应答原理是什么样的?可能我们对这些一无所知,但python提供了功能齐全的类库来帮助我们完成这些请求。常用的HTTP库有urlllib.requests.trep等。而我们今天主要介绍的就是urllib库,这个库只需要我们传入相应的参数和相应的链接。首先我给出官方文档的链接,所有...原创 2019-09-18 07:57:12 · 297 阅读 · 3 评论 -
爬虫系列-request基本库的使用
上一篇博客中,我们了解了urllib的基本用法,但是它还是存在很多缺陷,比如处理网页验证和Cookies时,需要写通过类来实例化对象比较麻烦。为了更加方便地实现这些操作,就有了更为强大的库requests,对于它来说Cookies、登录验证、代理设置等操作都容易很多。...原创 2019-09-19 16:46:53 · 429 阅读 · 1 评论 -
正则表达式-简单爬虫的实例
前面几篇博客主要介绍的是对于爬虫所需要的库以及相关知识点的介绍,这篇博客就是让我们练习一下真正的爬虫该怎么写。下面我主要讲两个实例,一个是b站新番的信息爬取,另一个是猫眼电影TOP100的相关信息爬取。b站新番排行榜的爬取首先我们需要request和re模块,我采用函数结构话来写爬虫,你们可以看看,首先我们找到我们需要爬取的详情页b站新番排行榜。我们需要爬取得信息有上面的新番排名,动漫名称...原创 2019-09-24 15:18:18 · 1724 阅读 · 0 评论 -
爬虫系列-解析库
概述在前面的实例中,我们采用正则表达式来提取相关的信息,但正则表达式过于复杂,容易写错,一旦写错就可能匹配不到我们想要的东西。所以这次博客我将介绍另一种提取信息的方法-解析库。对于网页的节点来说,它可以定义id、class或其他属性。而且节点之间还有层次关系,在网页中可以通过XPath或CSS选择器来定位一个或多个节点。那么,在页面解析时,利用XPath或CSS选择器来提取某个节点,然后再调用...原创 2019-09-25 09:41:44 · 614 阅读 · 0 评论 -
python3:Tkinter——简单的窗口视窗
这个我直接转载几篇介绍的比较详细的博客,大家可以看看。python3:Tkinter——简单的窗口视窗窗口视窗Tkinter - 莫烦PythonPython tkinter 学习实践Python GUI之tkinter窗口视窗教程补充...转载 2019-05-27 10:47:40 · 590 阅读 · 0 评论 -
python调用百度API对数据进行情感分析
百度Al大家平常是不是被深度学习和机器学习的一些需要打标签的训练数据所困扰,小编也是这样,特别是利用深度学习进行情感分析的时候,正负面数据进行打标签是一个很繁琐的工作,人工打标签耗费时间长,成本高。最近小编在寻找数据的时候发现了一个由百度推出的Al开放平台,而且发现上面很多功能都是免费的,只需要注册一个账号。下面我就把网站介绍给大家。Al开放平台但小编今天向大家介绍的是情感倾向分析,下面小编...原创 2019-05-25 16:38:26 · 7396 阅读 · 7 评论 -
python逻辑回归识别猫(持续更新中)
逻辑回归简单来说, 逻辑回归(Logistic Regression)是一种用于解决二分类(0 or 1)问题的机器学习方法,用于估计某种事物的可能性。比如某用户购买某商品的可能性,某病人患有某种疾病的可能性,以及某广告被用户点击的可能性等。 注意,这里用的是“可能性”,而非数学上的“概率”,logisitc回归的结果并非数学定义中的概率值,不可以直接当做概率值来用。该结果往往用于和其他特征值加...原创 2019-05-15 09:39:07 · 2141 阅读 · 3 评论 -
微信公众号信息爬取
微信公众号信息爬取微信公众号文章信息爬取利用的是搜狗的微信文章搜索,通过搜索页面的结合找对应关键词的文章https://weixin.sogou.com/代码的大致介绍考虑到访问频繁容易封ip 这里采用了阿布云的IP,有需求的也可以看一下https://www.abuyun.com/http-proxy/dyn-manual.html我的代码采用的是从数据库读入关键词和对应的id...原创 2019-03-11 12:41:22 · 870 阅读 · 0 评论 -
plotly入门(散点图和曲线图)
散点图散点图,顾名思义就是由一些散乱的点组成的图表,这些点在哪个位置,是由其X值和Y值确定的。所以也叫做XY散点图。特点是能直观表现出影响因素和预测对象之间的总体关系趋势。优点是能通过直观醒目的图形方式反映变量间关系的变化形态,以便决定用何种数学表达方式来模拟变量之间的关系。散点图不仅可传递变量间关系类型的信息,也能反映变量间关系的明确程度。今天我们来看一下Python中plotly包来...原创 2019-03-19 21:22:45 · 9008 阅读 · 0 评论 -
python字符串详解
python字符串详解字符串字符串或串(String)是由数字、字母、下划线组成的一串字符。一般记为 s=“a1a2···an”(n>=0)。它是编程语言中表示文本的数据类型。 通常以串的整体作为操作对象,如:在串中查找某个子串、求取一个子串、在串的某个位置上插入一个子串以及删除一个子串等。两个字符串相等的充要条件是:长度相等,并且各个对应位置上的字符都相等。属于python基本数据类...原创 2019-03-19 22:25:20 · 409 阅读 · 0 评论 -
强大的python绘图包plotly包
import plotly as pyfrom plotly.graph_objs import Scatter, Layout, Datatrace0 = Scatter( x = [1,2,3,4], y =[10,15,13,17])trace1 = Scatter( x =[1,2,3,4], y =[16,5,11,9])data =Data([...原创 2019-03-17 11:07:30 · 6239 阅读 · 3 评论 -
python math标准库的使用
math— 数学函数(第三方标准库)作用:提供函数完成特殊的数学运算。调用方法import math1.两个常数e和piimport math print(math.pi)print ( math.e)这两个常数的输入必须调用math这个第三方标准库,直接不能使用。2.各种函数介绍这个网址上对大部分math 库中的函数进行了总结和介绍。如果想了解更多的可以去Python官网...原创 2019-03-12 21:21:27 · 7084 阅读 · 0 评论 -
python内置函数功能汇总
python内置函数介绍内置函数介绍官网内置函数介绍常用内置函数abs(x) 返回一个数的绝对值。实参可以是整数或浮点数。如果实参是一个复数,返回它的模。abs(3)#结果还是3all(iterable)如果 iterable 的所有元素为真(或迭代器为空),返回 True 。def all(iterable): for element in iterable:...原创 2019-03-12 22:01:34 · 180 阅读 · 0 评论 -
python列表的用法
列表序列是Python中最基本的数据结构。序列中的每个元素都分配一个数字 - 它的位置,或索引,第一个索引是0,第二个索引是1,依此类推。Python有6个序列的内置类型,但最常见的是列表和元组。列表是最常用的Python数据类型,它可以作为一个方括号内的逗号分隔值出现。列表的数据项不需要具有相同的类型,可以是字符串,可以是数字等等,列表可以嵌套。创建列表list3 =[]llist1...原创 2019-03-26 23:00:33 · 896 阅读 · 0 评论 -
python 函数进阶笔记
函数的参数传递1.必选参数必选参数也叫位置参数,定义:就是在给函数传参数时,按照顺序,依次传值。举一个简单例子def sum(a,b): return a+bsum(2,3)函数sum(a,b)中有两个参数,a和b,这两个参数都是位置参数,调用的时候,传入的两个值按照顺序,依次赋值给a和b。2.默认参数定义:就是在写函数的时候直接给参数传默认的值,调用的时候,默认参...原创 2019-04-10 22:55:53 · 267 阅读 · 0 评论 -
python集合的用法
集合Python 还包含了一个数据类型 —— set (集合)。集合是一个无序不重复元素的集。基本功能包括关系测试和消除重复元素。集合对象还支持 union(联合),intersection(交),difference(差)和 sysmmetric difference(对称差集)等数学运算。集合用大括号表示。集合的创建1.set() 函数可以用来创建集合 x = set('spam')...原创 2019-03-28 11:16:37 · 193 阅读 · 0 评论 -
time和datatime的使用
time标准库的使用time是python处理时间的标准库,调用方法和其他python各种库的使用是一样的。import timetime标准库的函数主要分为三大类函数:时间获取,时间格式化,程序计时1.时间获取时间格式介绍在获取时间之前我们要了解这几点:在Python中,通常有这几种方式来表示时间: 1)时间戳 2)格式化的时间字符串 3)元组(struct_time)共九个元...原创 2019-04-07 15:53:13 · 884 阅读 · 0 评论 -
python calendar介绍
caclendar 介绍calendar(日历)模块,默认每周第一天是星期一,最后一天是星期天。这也是python一个处理时间的模块。提供了对日期的一些操作方法,和生成日历的方法。calendar模块中提供了三大类:一、calendar.Calendar(firstweekday=0)该类提供了许多生成器,如星期的生成器,某月日历生成器二、calendar.TextCalendar(...原创 2019-04-08 18:42:05 · 4999 阅读 · 0 评论 -
python爬虫个人总结篇1
1.python中文转换url编码有很多时候,我们需要爬取搜索引擎,当你输入关键词后,形成了一个特定的网址,比如https://search.sina.com.cn/?q=%BA%FE%B1%B1%BE%AD%BC%C3%D1%A7%D4%BA&c=news&from=index,但是我输入的关键词是湖北经济学院,但其中出现一串莫名其妙的%BA%FE%B1%B1%BE%AD%BC...原创 2019-04-17 23:38:55 · 3314 阅读 · 1 评论 -
python 模块与包
模块与包是任何大型程序的核心,就连Python安装程序本身也是一个包。本章重点涉及有关模块和包的常用编程技术,例如如何组织包、把大型模块分割成多个文件、创建命名空间包。同时,也给出了让你自定义导入语句的秘籍。模块模块简介模块是一个包含Python定义和语句的文件。文件名就是模块名后跟文件后缀 .py 在一个模块内部,模块名(作为一个字符串)可以通过全局变量 name 的值获得。比如你可以创...原创 2019-04-27 23:20:55 · 217 阅读 · 0 评论 -
python文件操作
os库和常用命令在我们要对文件进行操作之前,必须先了解os标准库,文件操作的基础的是建立在操作系统上面完成的,现在操作系统很多都不会让普通的程序直接操作磁盘。我们的python也是一样的。而python对文件操作很多要依赖os库。os库调用方法import os然后我们需要熟悉几个os库常用的命令。os.listdir() 列出当前目录下的所有文件和文件夹(包括被隐藏的)os.sys...原创 2019-05-05 19:05:01 · 716 阅读 · 0 评论 -
python面向对象编程
面向对象编程概述面向对象编程(oop),是一种编程方式,这种编程方式需要使用“对象”来实现。这样听起来可能不懂,我借助知乎上面一个例子说明一下。面向对象是相对于面向过程的,比如你要充话费,你会想,可以下个支付宝,然后绑定银行卡,然后在淘宝上买卡,自己冲,这种种过程。但是对于你女朋友就不一样了,她是面向“对象”的,她会想,谁会充话费呢?当然是你了,她就给你电话,然后你把之前的做了一遍,然后她收到...原创 2019-05-06 17:06:42 · 174 阅读 · 0 评论 -
Jupyter Notebook与 Markdown知识点汇总
jupyter Notebook 快捷键及用法jupyter notebook介绍参考链接:https://www.cnblogs.com/nxld/p/6566380.htmlJupyter Notebook(此前被称为 IPython notebook)是一个交互式代码编写环境,本质上是一个Web应用程序,便于创建和共享程序文档,支持实时代码,数学方程,可视化和markdown。常用于数...原创 2019-03-06 09:19:22 · 889 阅读 · 0 评论