![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 59
敲键盘的兔子
想去大厂吃美食!
展开
-
数据采集入门——Flume应用
Flume应用Flume是一个分布式、可靠、高可用的海量日志采集、聚合和传输的系统。Flume系统中核心的角色是agent,agent本身是一个Java进程,一般运行在日志收集节点。一个agent内部有三个组件:· Source:采集源,用于跟数据源对接,以获取数据;· Channel:agent内部的数据传输通道,用于从source将数据传递到sink;· Sink:下沉地,采集数据的传送目的,用于往下一级agent传递数据或者往最终存储系统传递数据在整个数据的传输的过程中,流动的是event原创 2022-04-29 22:22:48 · 2208 阅读 · 0 评论 -
大数据采集入门——网络爬虫技术——Selenium
自动化测试 Selenium原创 2022-04-29 20:51:03 · 1210 阅读 · 0 评论 -
Python基础——API的调用
WEB APIweb api是网站的一部分,用于与使用非常具体的URL请求特定信息的程序交互,请求的数据将以JSON或CSV格式返回。通俗而言,就是自动从网站上爬取数据,实现最新信息的获取。依赖于外部数据源的大多数应用程序都依赖于API调用,如集成社交媒体网站的应用程序#requests包让Python程序能够轻松地向网站请求信息以及检查返回的响应。(1)安装requests包pip install requests# or pip install --user requests(2)导原创 2021-07-28 18:34:23 · 5709 阅读 · 1 评论 -
Python学习——绘制世界人口地图
实例训练——绘制世界人口地图人口数据为json格式文件,因此需使用json模块来处理他们Pygal提供了一个适合初学者使用的地图创建工具,可以使用它来对人口数据进行可视化,以探索全球人口的分布情况。(1)导入python自带的世界地图包和国别码的包#导入世界地图包(python 自带世界地图包)import pygal.maps.world#导入国别码的包 COUNTRIES是一个字典类型的数据信息,key为国别名,value值为国家名from pygal_maps_world.i18n i原创 2021-07-28 17:08:28 · 2437 阅读 · 0 评论 -
Python基础——csv文件处理及可视化
csv文件处理及可视化(1)csv文件格式:要在文本文件中存储数据,最简单的方式是将数据作为一系列以逗号( , )分隔的值写入文件【形式:数据之间用,号隔开】#例如:2014-1-5,61,44,26,18,7,-1,56,30,9,30.34,30.27,30.15,10,4,0.00,0,195(2)分析csv文件头#csv处理模块包含在Python标准库中,可以分析csv文件的数据行,可以快速提取感兴趣的值。def read_csv2(): filename = 'D:\pyth原创 2021-07-27 22:29:55 · 4171 阅读 · 3 评论 -
python学习——使用Pygal生成矢量图
使用Pygalpygal是python的可视化包,只要用来生成可以生成可缩放的矢量图形文件,对于需要在尺寸不同的屏幕上显示的图表,它们将自动缩放,以适应观看者的屏幕。如果你打算以在线方式使用图表,请考虑使用Pygal来生成它们,这样它们在任何设备上显示时都会很美观。#矢量图放大不失真(1)安装pygal包Linux和OSX系统pip install --user pygalWindows系统python -m pip install --user pygal【注意】:你可能需要使用命令原创 2021-07-22 22:54:32 · 890 阅读 · 1 评论 -
Python可视化——随机漫步
随机漫步我们将使用Python来生成随机漫步数据,再使用matplotlib以引人瞩目的方式将这些数据呈现出来。随机漫步是这样行走得到的路径:每次行走都完全是随机的,没有明确的方向,结果是由一系列随机决策决定的。随机漫步在现实中都具有实际的用途:漂浮在水滴上的花粉因不断受到水分子的挤压而在水面上移动。水滴中的分子运动是随机的,因此花粉在水面上的运动路径犹如随机漫步。(1)python实现随机漫步(算法模块)#需先导入random包当中的choice函数#choice()方法将实现从列表,元组或字原创 2021-07-22 17:37:59 · 992 阅读 · 5 评论 -
python可视化——颜色映射
颜色映射 实现颜色渐变**颜色映射 (colormap)是一系列颜色,它们从起始颜色渐变到结束颜色。**在可视化中,颜色映射用于突出数据变化的规律,例如,你可能用较浅的颜色来显示较小的值,并使用较深 的颜色来显示较大的值。 模块pyplot 内置了一组颜色映射。要使用这些颜色映射,你需要告诉pyplot 该如何设置数据集中每个点的颜色。#通过简单的设置c=“颜色” 改变点的颜色外,还可以使用颜色映射(colormap)def anypoints(): #实现自动计算数据 使用Python原创 2021-07-22 17:14:10 · 6095 阅读 · 1 评论 -
Python可视化——绘制散点图
散点图 scatter()绘制散点图散点图的绘制,将使用plot包中的scatter()函数【语法及参数】:def scatter(x: Any, y: Any, s: Any = None, #s 绘制点的尺寸 c: Any = None, #c 改变点的颜色(可自定义点的颜色)注意与使用颜色映射时的意义区分 marker: Any = None, cmap:原创 2021-07-22 16:29:41 · 1557 阅读 · 0 评论 -
Python可视化——绘制折线图
绘制折线图 plot()(1)准备工作绘制可视化图形,将会使用到Matplotlib库中的pyplot包。Matplotlib是Python的绘图库,其中的pyplot包封装了很多画图的函数。Matplotlib.pyplot 包含一系列类似 MATLAB 中绘图函数的相关函数。因此在绘制图形之前,将这个pyplot导进来#导入pyplot包并取别名为pltimport matplotlib.pyplot as pltplot()函数用于绘制折线图【参数及语法】: plt.plot(原创 2021-07-22 16:06:18 · 15269 阅读 · 0 评论 -
Python学习——matplotlib(介绍及安装)
matplotlib包在本案例学习中,将利用Matplotlib包对数据进行可视化分析,绘制相关的图表,进行数据分析。(1)基础介绍Matplotlib 是 Python 的绘图库。 它可与 NumPy 一起使用,提供了一种有效的 MatLab 开源替代方案。 它也可以和图形工具包一起使用,如 PyQt 和 wxPython。(2)matplotlib安装:Linux系统情形一、如果你使用的是系统自带的Python版本,可使用系统的包管理器来安装matplotlib,为此只需执行一行命令:$原创 2021-07-22 15:23:53 · 2739 阅读 · 0 评论 -
Python基础学习——测试代码
测试代码模块编写函数或类时,还可为其编写测试。通过测试,可确定代码面对各种输入都能够按要求的那样工作。在程序中添加新代码时,你也可以对其进行测试,确认它们不会破坏程序既有的行为。使用Python模块unittest 中的工具来测试代码【注意】:测试代码所在的类,必须继承unittest.TestCase继承类(1)单元测试与测试用例Python标准库中的模块unittest提供了代码测试工具。1、单元测试用于核实函数的某个方面没有问题;2、测试用例是一组单元测试,这些单元测试一起核实函数在各种原创 2021-07-20 16:15:05 · 316 阅读 · 1 评论 -
Python基础学习——存储数据(JSON存储 存本地)
存储数据(JSON存储)用户关闭程序时,你几乎总是要保存他们提供的信息;一种简单的方式是使用模块JSON来存储数据。存储到内存中,即数据内容存本地,完成数据读写模块JSON让你能够将简单的Python数据结构转储到文件中(存本地),并在程序再次运行时加载该文件中的数据。你还可以使用JSON在Python程序之间分享数据。实例例举:在用户登录时,存储用户输入的用户名与密码,在用户下一次登入时,根据用户名调用JSON存储中的密码,实现用户的自动登录或记住密码。#JSON数据格式并非Python专用的,这原创 2021-07-20 11:44:56 · 3905 阅读 · 0 评论 -
Python基础学习——异常
异常Python使用被称为异常的特殊对象来管理程序执行期间发生的错误。每当发生让Python不知所措的错误时,它都会创建一个异常对象。如果你编写了处理该异常的代码,程序将继续运行;如果你未对异常进行处理,程序将停止,并显示一个traceback,其中包含有关异常的报告。#异常是使用try-except-else 代码块处理的。try-except 代码块让Python执行指定的操作,同时告诉Python发生异常时怎么办。使用了try-except 代码块时,即便出现异常, 程序也将继续运行:显示你编写的原创 2021-07-20 10:47:27 · 98 阅读 · 0 评论 -
Python基础学习——文件
文件文本文件可存储的数据量多得难以置信:天气数据、交通数据、社会经济数据、文学作品等。(1)读取文本文件A.读取整个文档with open('pi_digits.txt') as file_object: #打开文件返回一个表示该文件的对象,as 取别名 contents = file_object.read()#对整个内容进行读取 print(contents)【代码解析】:(1)open(文件路径) 打开文件 ,仅接受一个参数,即需打开的文件所在路径,文件路径中使用的是反斜杠原创 2021-07-20 10:33:04 · 94 阅读 · 0 评论 -
Python基础学习——类(定义,嵌套,实例化,继承,重写,重载等)
类类的使用是一种典型的面向对象的思维方式面向对象编程是最有效的软件编写方法之一,在面向对象编程中,编写表示显示世界中的事务和情景的类 ,并基于这些类来创建对象,编写类时,定义的大类具有通用的行为。#基于类创建对象时,每个对象都自动具备这种通用行为,然后可根据需要赋予每个对象独特的个性,使用面向对象可模拟现实情景#根据类来创建对象被称为实例化,这能够让你使用类的实例,理解面向对象编程有助于你向程序原那样看世界,还可以帮助你真正明白自己编写的代码,培养逻辑思维,通过编程解决遇到的几乎任何问题(1)创建原创 2021-07-19 17:50:10 · 1068 阅读 · 5 评论 -
Python基础学习——函数
函数函数让你能够将程序分成多个很小的部分,其中每部分都负责完成一项具体任务。**你可以根据需要调用同一个函数任意次,还可将函数存储在独立的文件中。**使用函数可让你编写的代码效率更高,更容易维护和排除故障,还可在众多不同的程序中重用。(1)定义函数使用关键字def 来告诉Python你要定义一个函数。#自定义函数def greet_user(): """显示简单的问候语""" #Python 文档字符串 注释语句的一种 print("Hello!") #调用函数greet_user(原创 2021-07-19 11:30:46 · 322 阅读 · 0 评论 -
Python基础学习——用户输入与while循环
用户输入(1)input() 输入语句==》字符串型输入文本函数input() 让程序暂停运行,等待用户输入一些文本。获取用户输入后,Python将其存储在一个变量中,以方便你使用。input() 获取文本型输入,python默认为字符串user_name=input("Please enter your name:")#提示语句 按回车输入print(user_name)#Please enter your name:j#j(2)int() 强制类型转换为整型 ==》数值型输入文本原创 2021-07-19 10:14:20 · 354 阅读 · 3 评论 -
Python基础学习——字典
字典字典:用 {} 表示 用于存储键值对每个键值对之间用,号隔开,最后一个不用键值对格式==》键:值 #键值对之间用:分隔 student_grades={ "x":90, "y":80, "z":60, "a":96}(1)遍历字典1、遍历整个键值对 items()#整个键值对 for key,value in student_grades.items(): #自动匹配键制对 #key自动匹配键原创 2021-07-18 17:21:25 · 92 阅读 · 0 评论 -
Python基础学习——元组及条件判断运算符
元组元组看起来犹如列表,但使用圆括号而不是方括号来标识。定义元组后,就可以使用索引来访问其元素,就像访问列表元素一样。#Python将不能修改的值称为不可变的,而不可变的列表被称为元组。元组是不可变的,元组的元素不可修改,但可以给存储元组的变量重新赋值a=(200,100)#定义元组a[0]=9 #错误,元组不可修改 程序报错a=(9,100) #正确a=(300,800) #正确条件判断运算符(1)in 判断元素是否在列表中 in 在,not in 不在print(1原创 2021-07-18 16:04:11 · 1055 阅读 · 0 评论 -
python基础学习——列表
列表列表是由一系列特定顺序排列得元素组成,可以创建包含字母表中得所有字母、数字0-9或所有家庭成员姓名的列表,也可以将任何东西加入列表中,其中的元素之间可以没有任何关系。在Python中,用方括号( [ ] )来表示列表,并用逗号来分割其中的元素。列表是有序集合,因此要访问列表中的任何元素,列表是可变的。(1)添加列表元素1、添加元素至列表末尾,而不影响其他所有的元素 append()tt=["a","b","c","d"]tt.append("e")2、向列表中指定位置插入元素 in原创 2021-07-18 15:42:57 · 598 阅读 · 1 评论 -
机器学习——Chapter 2. 项目实战(获取数据、数据预处理、数据探索、确定测试集)
学习机器学习,最终还是要投身于真实的项目实例,一切基础知识的学习,都是为了最终投身于实践,为现实中真实的项目服务。现对机器学习案例步骤及实现方法进行简单介绍如下:A、【一般项目流程】:(1)观察数据大背景(2)得到数据(3)单变量分析,发现和可视化数据,以获得洞察力,对数据进行可视化(4)数据分类及过滤,为机器学习算法准备数据(5)选择合适的模型进行数据拟合,实现训练(6)模型评估并调整模型(7)解决方案(8)启动、监视和维护您的系统B、【数据来源】:在我们进行案例实践之前,我们需.原创 2021-07-14 16:57:01 · 1002 阅读 · 0 评论 -
Chapter 1——认识机器学习
在正式学习机器学习之前,我们需要先对以下几个问题进行回答,掌握一些关于机器学习的基础知识,让我们的学习事半功倍!Q1:What Is Machine Learning?机器学习是编程计算机的科学(和艺术),是一个让计算机无需编程就能学习的研究领域。系统用来学习的例子称为训练集。每个训练示例称为一个训练实例(或样本)。Q2:Why Use Machine Learning?回答这个问题,我们可以举一个典型的机器学习案例,即垃圾邮件的过滤。首先,你需考虑到垃圾邮件通常的形式,哪些单词或短语经常出现在垃圾原创 2021-07-14 10:45:24 · 205 阅读 · 0 评论 -
Pandas——Numpy实战
1.输出Numpy的版本号。import numpy as npprint(np.version.version)2.创建33的单位矩阵,零矩阵。np.zeros((3,3)) #创建33的0矩阵 元组形式表示np.eye(3) #创建3*3的单位矩阵3.创建两个3*3的随机矩阵(满足正态分布)A,B.并求两个矩阵的点乘,叉乘,转置以及逆。4.将矩阵A展平为一维数组。5.分别水平和垂直拼接矩阵A,B。6.对矩阵A中的元素按行和列进行排序。7.按照行和列求取矩阵A原创 2021-05-30 20:20:13 · 1030 阅读 · 1 评论 -
python练习——numpy练习(3)
题目:创建一个长度为 5 的等间隔一维数组,值域范围从0到1,但是不包括 0 和 1np.linspace(0,1,6,endpoint=False)[1:] #不包含头尾 创建等差数列补充:endpoint=False ==> 不含尾 [1:0]= =>不含首结果为:结果:重难点:np.linspace()用于创建等差数列,在指定的间隔内返回均匀间隔的数字。【语法格式】:numpy.linspace(start, stop, num=50, endp原创 2021-04-25 19:51:52 · 131 阅读 · 0 评论 -
python练习——Nump应用(2)(pad()函数运用)
题目:使用数字0将一个全为1的数组包围起来(外圈包围型数组)提示函数:pad(array, pad_width, mode, **kwars)【参数说明】:array:将要进行填充的数组填充的各个方向的宽度,可以指定不同方向的宽度,如果只输入一个值,那么表示每个方向的填充宽度都一样填充的方式,可以取的值有 constant、edge等等其中,最为常用的填充方式就是 constant,表示连续填充相同的值填充方式补充:‘constant’——表示连续填充相同的值,每个轴可以分别指定填充值,原创 2021-04-25 19:38:17 · 343 阅读 · 0 评论 -
python练习——创建10*10的数组,要求:1,0沿着对角线间隔放置
题目:创建10*10的数组,要求:1,0沿着对角线间隔放置例如:array([[0, 1, 0, 1, 0, 1, 0, 1, 0, 1],[1, 0, 1, 0, 1, 0, 1, 0, 1, 0],[0, 1, 0, 1, 0, 1, 0, 1, 0, 1],[1, 0, 1, 0, 1, 0, 1, 0, 1, 0],[0, 1, 0, 1, 0, 1, 0, 1, 0, 1],[1, 0, 1, 0, 1, 0, 1, 0, 1, 0],[0, 1, 0, 1, 0, 1, 0, 1原创 2021-04-25 13:18:00 · 3402 阅读 · 0 评论 -
python基础题练习——字典的运用小练习
题目:输入一串电话号码,输出对应的英文单词## 字典练习题 翻译数字dict_number={ "1":"One", "2":"Tow", "3":"Three", "4":"Four", "5":"Five", "6":"Six", "7":"Seven", "8":"Eight", "9":"Nine"}phone=input("phone number:")for i in phone: print(f'原创 2021-04-21 20:52:39 · 678 阅读 · 0 评论 -
python练习——文件的读写
题目:编程读写文件Walden.txt,实现词汇表,计算每一个单词出现的次数,不区分大小写,按出现的次数从大到小输出到dic.txt文档中。text=open(r"D:\Walden.txt",'r')line=text.read()line=line.lower() #题意要求不区分大小写 .lower()将其全部转化为小写import reline=re.sub('[,.?;:"\'!]','',line) #使用re的sub()替换string中每一个匹配的子串后返回替换后的字符串原创 2021-04-20 19:06:29 · 921 阅读 · 0 评论 -
phython练习——计算30天的总计分析数量
题目:法一:递归法:def fx(day): if(day==1): return 1 else: return fx(day-1)*(fx(day-1)+5)%(1e9+7)sum=0for i in range(1,31): #此处用了迭代法,也可以转为递归,待后续补充 sum=(sum+fx(i)%(1e9+7))%(1e9+7)print("30天的总分析量为",sum%(1e9+7))法二:迭代法:sum=0tt=1原创 2021-04-19 12:18:53 · 290 阅读 · 0 评论 -
phython练习——函数特殊数列求和 *运算符的应用
题目:1.使用函数求特殊数列和,给定两个不超过9的正整数a和你,要求编写函数fn(a,n),求a+aa+aaa+…+a(n个a)之和。def fn(a,n): sum=0 for i in range(n): sum=sum+int(a*(i+1)) return suma=input("请输入一个不超过9的正整数a")n=int(input("请输入一个不超过9的正整数n"))print(fn(a,n))结果:重难点解析:该题除此方法,运用*符进行运算以外,使用for循环语句进原创 2021-04-19 11:26:58 · 879 阅读 · 0 评论 -
Python练习——报数离开问题(列表知识运用)
题目:有30人围成一圈,从1到30依次编号。每个人开始报数,报到9的自动离开。当有人离开时,后一个人重新从1开始报数,以此类推,求离开的前10人的编号。number=list(range(1,31))#创建序号列表i=0#用来作报数循环leave_list=[]#存放离开的人序号while(len(leave_list)<=9):#离开10人即结束 for order in number: if order not in leave_list:#除掉已离开的原创 2021-04-06 16:30:34 · 3236 阅读 · 2 评论 -
Python练习——用递归和迭代实现斐波那契数的计算
题目:用递归和迭代实现斐波那契数的计算提示:斐波那契数列=>1 1 2 3 5 8 …法一:迭代法#迭代法t=int(input("请输入需要查看的斐波那契数的位序数"))x=1y=1if(t==1 or t==2): sum=1else: for i in range(t-2): sum=x+y x=y y=sum print("该数为",sum)法二:函数递归法#函数递归法def fb(t)原创 2021-04-06 16:08:42 · 347 阅读 · 0 评论