小学弟.-CSDN博客

原创【无标题】

tar ： linux 处理归档文件的命令归档文件：普通文件：1.log 1m归档文件：1.log.tar 1m压缩文件：1.log.tar.gz 0.9m1.普通 =》压缩归档文件 1.log =》1.log.tar.gztar -zcvf xxx.tar.gz file... -cf => 创建一个新归档 + 使用归档文件 z => 压缩 gz v =》详细地列出处理的文件eg: ...

2022-04-22 15:31:38 63

原创数理分析与数据计算

数理统计： 1.描述统计 2.推断统计1.描述统计 1.什么是描述统计？描述统计从数据中提取变量的主要信息 2.从数据中提取变量的主要信息 =》【指标】统计量统计量： 1.频率与频数 2.集中趋势分析：均值、中位数、众数、分位数 3.离散程度分析：极差、方差、标准差 4.分布形状：偏度、峰...

2022-04-22 15:24:26 240

原创 linux操作系统

基本命令：1.mv + cp 1.mv 剪切 2.cp 复制 mv =》文件个数始终是1分 cp =》文件个数始终是2分 1.移动 [root@sygy10 bigdata]# mv 1.log ../1.log [root@sygy10 bigdata]# cp ~/1.log ./ 2.改名字 [root@sygy10 ~]# mv 1.log 1.log_blk ...

2022-04-22 15:20:44 1022

原创数据探索+ 数据预处理

数据探索： 1.统计量分析： 1.集中趋势的度量： 1.均值、中位数、众数 2.离散趋势的度量：极值() 极差标准差、方差四分位数间距 2.相关性分析：通过散点图获取相关系数数据预处理：补充：数据透视表也可以对数据进行分析【聚合统计】 group b...

2022-04-22 15:18:25 1075

matplotlib: 1.官网 https://matplotlib.org/ 2.概述： Matplotlib is a comprehensive library for creating static, animated, and interactive visualizations in Python. Matplotlib就是一个数据可视化的东西和大数据数据可视化有区别【Matplotlib他...

2022-04-09 17:27:41 66

原创 pandas

数据处理：算子 map filter groupby apply数据切片pandas ： 1.官网 https://pandas.pydata.org/ 2.概述： pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, 【pandas就是一个数据分析的工具】 3...

2022-04-09 17:15:58 54

原创机器学习 1 认知

机器学习： 1.概念 Simple and efficient tools for predictive data analysis 【预测数据分析结果】用机器代替人做决策数据集 =》训练 =》模型 2.Built on NumPy, SciPy, and matplotlib、pandas2.机器学习里面的常用术语： 1.数据集准备色泽= 绿色、根=弯曲、敲声 = 浑浊 =》熟的 ...

2022-04-09 17:14:05 83

原创爬虫框架scrapy

学习目标：掌握 scrapy爬虫框架知识学习内容：爬虫的框架：scrapy ：An open source and collaborative framework for extracting the data you need from websites.In a fast, simple, yet extensible way.1.开源的爬虫框架2.快速、简单、高效的方式2.安装部署3.基本使用1.创建一个项目scrapy startproject test_scrapy

2022-04-09 16:59:28 168

原创 Python爬虫技术认知

爬虫： 1.百度百科：网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 2.自己理解：通过代码、模拟浏览器上网然后抓取数据的过程2.爬虫是否合法？ 1.法律允许 2.有法律风险的3.统一规定？【法律界限】 robots.txt协议4.爬虫的分类： 1.获取一整张页面【通...

2022-04-09 16:27:46 517

原创 Python 2 关键字

1.函数：函数 =》方法【区别不大】 scala 【有区别】 1.内置函数【常用类的api】 1.数学相关的【math 包下的】 2.自定义函数 3.匿名函数【没有名字的函数】 1.内置函数【常用类的api】print(abs(-10)) #绝对值 print(max(1, 2, 3, 4, 5)) print(min(1, 2, 3, 4)) print(sum([1, 2, 3]))...

2022-04-09 16:23:59 110

原创 Python 1 认知

Python: 1.概述： 1.语言 2.开发起来简洁 =》 java 2.使用场景： 1.数据分析 =》 numpy 、pandas 2.web 开发 =》用的不多、百度 3.游戏开发 =》用的不多 4.AI （机器学习、深度学习） 5.爬虫 1.部署安装： 1.安装： 1.python 原生的安装包 www.pyt...

2022-04-09 16:08:33 92

antuo123的博客