实习
abutoto
这个作者很懒,什么都没留下…
展开
-
2018.10.11 数据库+linux指令
2018.10.11 实习学习记录(只是记录每天的学习情况,也是汇报)1.数据库方面:数据库有关系型数据库、非关系型数据库he键值数据库三种类型。关系型数据库是数据存储的传统标准,根据实体联系在表中存储,数据标准化,通过SQL操作。文档数据库是一种NoSQL数据库,将半结构化数据存储为文档,直接保存,更加灵活,高并发性,不便查询。分布式数据库是用计算机网络将物理上分散的多个数据库单元连...原创 2018-10-18 15:20:45 · 133 阅读 · 0 评论 -
2018.10.12 shell,awk
Shell今天主要在看Shell,基本的语法都过了一遍,个人感觉语法较为简单,没有很复杂的内容,只是有很多不一样的地方。 变量,数组,字符串很灵活,相对简单。不能直接运算,算数运算需要`expr`或者$()包住,关系、布尔运算用[]包住,符号也不一样,没有大于和小于号,而是用字母替换;还多了有文件的运算,很多也记不全。还有需要注意空格 可以替换也是一大特点,变量和...原创 2018-10-18 15:23:06 · 217 阅读 · 0 评论 -
2018.10.15 awk,sed,grep
1.awk继续学习awk的语法规则,各种运算符,高级的输入输出,流程控制,数组,字符串以及内置函数。之后还找了一些小作业,目前对于awk感觉比较理解了,基本的筛选、提取信息,流程控制,对数据的简单处理都没有问题。 2.sedSed是一种流编辑器,结合正则表达式,功能强大。参数:-n只显示处理后的结果;-f读取脚本文件;-e多点编辑,合并多条命令。主要动作:a在当前行之后新增...原创 2018-10-18 15:24:13 · 122 阅读 · 0 评论 -
2018.10.16 awk,sed,grep,ps,top,vim
巩固练习awk,sed,grep:找了一些相关的练习,通过练习发现问题,从而进行巩固和熟悉。 awk包含正则表达式的元字符,同时也能匹配原本的元字符;sed不包含元字符,使用元字符需要加\;grep和sed一样没有元字符;egrep是grep+元字符,但是不能匹配原本的元字符。 正则表达式:正则表达式主要就是记住元字符,然后组合使用达到不同的效果;元字符的数量不是特...原创 2018-10-18 15:25:32 · 232 阅读 · 0 评论 -
2018.10.17 HDFS,Hive,HBase,MongoDB,Redis,ES
HDFS: Hadoop 的分布式文件系统称为 HDFS,它是为以流式数据访问模式存储超大文件而设计的文件系统。 HDFS适合:存储并管理PB级数据 处理非结构化数据 注重数据处理的吞吐量 应用模式为:一次写多次读不适合:存储小文件 大量的随机度 需要修改文件 Hive:Hive是一个构建与Hadoop顶层的数据仓库工具,可以查...原创 2018-10-18 15:29:32 · 2041 阅读 · 0 评论 -
2018.10.18 virtualenv,pyhs2
virtualenv; virtualenv是管理虚拟环境的一个工具,可以为每个项目创建一个虚拟环境,互不干扰。 在项目文件夹下运行virtualenv name(name是虚拟环境的名字,自己取),然后就会创建一个名字为name的虚拟环境,可以加参数设定虚拟环境的配置,如–system-site-packages使用系统环境中的软件包,-p /usr/b...原创 2018-10-19 17:37:36 · 171 阅读 · 0 评论 -
2018.10.19 hive
Hive: 使用hive cli,只是执行sql语句,并未使用其他的功能,暂时用不上;具体操作了查看数据库、表,使用数据库,查询表,查看表的定义,速度很慢,只是简单的使用。 阅读以前的获取数据的脚本,理解功能,主要就是查询各个表保存到文件中,再使用sed加上表头,虽然很长,但是意思是一样的;其中关于使用—hiveconf设置hive并不明白什么意思,好...原创 2018-10-19 18:14:56 · 111 阅读 · 0 评论 -
11月贝壳实习总结
11月贝壳实习总结距离上一次已经一个多月了,这期间我主要负责一个日志清洗的项目,然后空余时间看了很多的其他的东西项目说明简述安排给我的是一个日志清洗的任务,就是把日志表中的内容按照需求解析提取出来,然后保存到数据库中,然后提供一个接口供查询,过程还时比较简单的。虽然项目比较简单无脑,但是还是挺有用的,我学习了很多东西。首先是日志表,公司用的是hive,这个前面看过一些,然后我用的是pyt...原创 2018-12-09 19:24:41 · 10625 阅读 · 0 评论 -
hadoop+hbase+spark总结
hadoop+hbase+spark搭建hadoop安装:前期准备:1.host配置和主机名2.安装jdk3.免密ssh登录Hadoop搭建参考1.在master上解压安装包#下载wget http://apache.claz.org/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz#解压tar -xzvf hadoop-2.7....原创 2019-03-15 20:45:17 · 572 阅读 · 2 评论