- 博客(14)
- 收藏
- 关注
RSS订阅原创 Python学习日志day04-20210415
文章目录数据类型内置方法字符编码文件操作数据类型内置方法# 字典d = { 'username':'jason', 'password':123, 'hobby':['read','study','music']}1.统计长度(键值对的个数) print(len(d)) # 32.获取值 print(d['username']) # jason print(d.get('hobby')) # ['read', 'study', 'music']
2021-04-15 20:07:48
77
原创 Python学习日志day03-20210414
文章目录运算符流程控制数据类型内置的方法可变类型与不可变类型运算符# 逻辑运算符 and 与 链接多个条件 多个条件必须都成立结果才为True or 或 链接多个条件 多个条件只要有一个成立结果就为True not 非 取反"""当上述三者混合使用的时候 其实它们是有优先级之分的 我们在操作的时候通过人为加括号的形式来明确优先级"""# 成员运算 in 判断某个值是否在某个列表中 not in 判断某个值是否不在某个列表中
2021-04-15 15:54:53
72
原创 Python学习日志day01-20210412
目录数据分析课程大纲关于思想和学习方面的建议编程与编程语言编程语言的发展史Python简介python解释器环境变量编程环境文件后缀名数据分析课程大纲python核心编程MySQL数据库Excel办公软件SPSS数据分析数据分析三剑客(numpy、pandas7matiplotlib)数据清洗python网络爬虫Linux运维大数据之HadoopTableau与PowerBI机器学习与算法模型关于思想和学习方面的建议思想方面： 1.年轻不能作为挥霍的资本 2.
2021-04-13 16:58:10
133
2
原创 Python学习日志day02-20210413
day02-20210413课程内容目录day02-20210413课程内容语法注释变量与常量计算机三大核心硬件变量名的命名规范及书写风格基本数据类型类型转换用户交互运算符格式化输出基本运算符语法注释# 注释其实就是对一段代码的文字解释在python中注释分为单行注释和多行注释 单行注释 # 注释内容 多行注释 '''注释内容''' """注释内容"""变量与常量# 变量 其实就是用来记录事物状态变化的量 eg：年龄 薪资 体重..."""
2021-04-13 16:50:38
124
1
原创 日志采集框架Flume
前言在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图：...
2019-12-06 21:35:57
153
1
原创 大数据第二周汇总
计算框架指实现某项人物或某项工作从开始到结束得计算过程或流程mapreduce计算框架并行计算指一个大的人物拆分成多个小人物，将多个小任务分发到多个节点上，每个节点同时执行计算Hadoop为什么比传统技术方案快1.分布式存储2.分布式并行计算3.节点横向扩展4.移动程序到数据端5.多个数据副本mapreduce核心思想分而治之，先分后和。将一个大的、复杂的工作或人物拆分成...
2019-11-16 15:00:20
169
1
原创 大数据 day03笔记
DataNode作用1、执行数据的读写（响应的是客户端）2、周期性向NameNode做汇报（数据块的信息、校验和）若datanode 10分钟没有向NameNode做汇报，表示已丢失（已宕机） 心跳周期 3秒3、执行流水线的复制（一点一点复制）机架感知实际上需要工程师收到创建一个脚本（python sh ）,脚本中记录主机IP和交换机的对应关系。配置的位置是core-site.xml...
2019-11-04 21:14:25
91
1
原创 大数据 day01笔记 —(大数据的介绍)
什么是大数据？ 字面意思理解：大量的数据，海量的数据 数据集的大小已经远远超过了现有普通数据库软件和工具的处理能力的数据大数据有什么特点？ 海量化 数据量大（多） 多样化 结构化数据，半结构化数据，和非结构化数据 快速化 数据的增长速度快 高价值 海量数据价值高大数据能做什么？ 1、海量数据快速查询 2、海量数据的存储（数据量大，单个大文...
2019-10-24 07:57:19
103
原创 linux day03笔记 —(vi编辑器)
vi和vimvi是visual interface 的简称，是linux中最经典的文本编辑器只能编辑文本内容 不能对字体段落进行排版不支持鼠标操作没有菜单 只有命令vim是从vi发展出来的文本编辑器，支持代码补全、编译及错误跳转三种工作模式1.命令模式2.末尾模式3.编辑模式命令模式1.上下左右h ： 向左j ： 向下k ： 向上l ： 向右...
2019-10-23 15:09:34
122
原创 linux day02(桥接-NAT连接方式介绍 系统介绍)
虚拟机网络连接的两种方式桥接方式优点：多个物理主机(宿主机)内部的虚拟机可以相互连通缺点：一个局域网内部分配的IP是有限的若连接网络环境发生变化 那么虚拟机将无法上网NAT模式vm虚拟软件模拟交换机。 可以自定义虚拟机使用的网段，没有分配IP的限制linux系统文件夹的用途/etc : 系统配置 启动程序/home : 普通用户的家 目录默认数据存放目录/mnt :...
2019-10-23 13:09:57
109
原创 linux day01笔记 —(创建虚拟机及配置网卡)
创建虚拟机首先，ctrl+N 弹出新建虚拟机向导创建虚拟机完成后 打开虚拟机设置面板打开虚拟机完成操作系统的安装网卡配置Static IP 自己定义IPNetmask 固定格式255.255.255.0Default gateway IP 子网掩码必须与下面的截图内的相同DNS 固定格式 8.8.8.8配置好后，保存退出...
2019-10-23 11:52:08
133
原创 linux day06笔记 —(挂载新硬盘)
了解linux系统分区的原理一个硬盘可以分成多个分区用户不能直接操作硬件，需要让硬件和系统的目录建立映射关系才可以操作，成为挂载查看分区命令 ： lsblk -f 查看所有设备的挂载情况参数 ： -f 文件系统给虚拟机增加硬盘选中目标虚拟机 右键 进入设置选中硬盘 点击添加按钮点击下一步选择创建新虚拟硬盘指定磁盘大小为10G完成注意：重启才可以生效给虚拟...
2019-10-17 01:24:51
81
原创 linux day05笔记 —(linux指令整理)
1.cut根据条件 从命令结果中提取对应内容截取出1.txt文件中前两行的第五个字符head -2 1.txt | cut -c 5-c : 按字符选取内容截取出1.txt文件中前2行以”:”进行分割的第1,2段内容head -2 1.txt | cut -d ':' -f 1,2-d : 指定分割符-f : 分割以后显示第几行内容2.sort针对文本文件的内容...
2019-10-16 08:48:05
99
原创 linux day04笔记—(解压缩 权限 用户和用户组 sudo命令 )
学习目标： 理解linux用户和组 掌握对组的增删改查 掌握对用户的增删改查 掌握对用户权限的修改解压缩命令 创建压缩包： tar -zcvf 压缩包名称 被打包压缩的文件或目录 z: gzip格式 j：bzip2格式 c: 创建包 v:显示详细信息 f: 指定文件 解压压缩文件： tar -z/jxvf 压缩包文...
2019-10-14 21:02:09
303
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人