study——————wyx
文章平均质量分 73
欣欣没肉吖
这个作者很懒,什么都没留下…
展开
-
hadoop第一节
第一部分:知识模块1.大数据三件事情: 1.数据采集:flume、logstash、sqoop、datax、maxwell、cannel、flinkcdc、(自己开发spark、flink) 2.数据存储:hadoop、hbase、kudu、clickhouse、mysql、tidb、solar 3.数据分析:mapreduce(hadoop)、hive、spark、flink、phoenix、clickhouse、kylin、presto、druid、...原创 2022-05-16 11:30:14 · 264 阅读 · 0 评论 -
linux命令2
1.mv + cp 1.mv 剪切 2.cp 复制mv:cp:wyxwyx.log为原文件上传下载 1.xshell 工具 2.命令 linux 安装一个 包 : pip yum install -y lrzsz rz 上传 sz 下载 3.xshell 工具3.rm 删除文件 或者 文件夹 (高危命令) 1.文件...原创 2022-04-13 21:32:34 · 501 阅读 · 0 评论 -
Linux基础命令
概念:Linux,全称GNU/Linux,是一种免费使用和自由传播的类UNIX操作系统,其内核由林纳斯·本纳第克特·托瓦兹于1991年10月5日首次发布,它主要受到Minix和Unix思想的启发,是一个基于POSIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。Linux有上百种不同的发行版,如基于社区开发的debian、archl...原创 2022-04-12 18:07:36 · 2207 阅读 · 0 评论 -
matplotlib举例
1.直线import matplotlib.pyplot as pltimport numpy as npx = np.arange(1,11)y = 2 * x + 5plt.title("Matplotlib demo")plt.xlabel("x axis caption")plt.ylabel("y axis caption")plt.plot(x,y)plt.show()2.两条不一样的曲线import matplotlib.pyplot as plti原创 2022-04-10 12:05:35 · 1535 阅读 · 0 评论 -
机器学习初
定义概念:机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。 数据集 =》 训练 =》 模型 Built on NumPy, SciPy, and matplotlib、pandas机器学习里面的常用术语 :(例) 1.数据集准备 色泽= 绿色 、根=弯曲 、 敲声 = 浑浊 =》 ...原创 2022-04-10 11:51:12 · 160 阅读 · 0 评论 -
爬虫scrapy框架
爬虫的框架:scrap :1.An open source and collaborative framework for extracting the data you need from websites.In a fast, simple, yet extensible way. 1.开源的爬虫框架 2.快速、简单、高效的方式2.安装部署3.基本使用 1.创建一个项目 scrapy startproject test_scrapy 1...原创 2022-04-06 20:50:08 · 76 阅读 · 0 评论 -
python爬虫
网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 自己理解的含义:通过代码、模拟浏览器上网 然后抓取数据的过程 爬虫是否合法? 1.法律允许 2.有法律风险的 爬虫的分类: 1.获取一整张页面 【通用爬虫】 2.获取一整张页面 部分数...原创 2022-04-06 20:42:22 · 99 阅读 · 0 评论 -
python
目录1.内置函数 【 常用类的api】 ----数学相关的 【math 包下的】 2.自定义函数 3.匿名函数【没有名字的函数】1.内置函数 【 常用类的api】 print(abs(-10)) #绝对值 print(max(1, 2, 3, 4, 5)) print(min(1, 2, 3, 4)) print(sum([1, 2, 3])) import math print(math.sqrt(16)) ...原创 2022-04-06 20:13:00 · 98 阅读 · 0 评论 -
python常见数据结构
1.str : 1.常用的函数 2.字符串插值 2.集合: List :有序的,数据可重复【列表】 Set :无序的 数据不可重复 【集合】 tuple:【元组】 dict: kv 【字典】 =》 kv#strs1 = "NingShao"s2 = "XinWei"print(s1)print(s2)print(s1 + s2)# 转义s3 = "f...原创 2022-04-06 20:02:03 · 2040 阅读 · 0 评论 -
python流程控制
1.分支结构:ifif:score = float(input("请输入一个数字:"))if(score<60): print("不及格")elif (score<80): print("良")elif (score <=100): print("优秀")else: print("输入有误")2.循环: for、whilefor :for_stmt ::= "for" target_list "in" expression_l...原创 2022-04-06 19:50:16 · 1210 阅读 · 0 评论 -
python 绪论(计算机编程语言)
python第一课原创 2022-04-05 10:34:59 · 986 阅读 · 0 评论