一只新手白-CSDN博客

原创大数据学习第十三天（mysql不会的查询2）

s_name VARCHAR(20) NOT NULL DEFAULT '' COMMENT '学生姓名',s_birth VARCHAR(20) NOT NULL DEFAULT '' COMMENT '出生年月',s_sex VARCHAR(10) NOT NULL DEFAULT '' COMMENT '学生性别',t_name VARCHAR(20) NOT NULL DEFAULT '' COMMENT '教师姓名',s_id VARCHAR(20) COMMENT '学生编号',

2024-04-07 21:07:52 781

原创大数据学习十三天（hadhoop基础2）

MapReduce是hadoop三大组件之一,是分布式计算组件Map阶段 : 将数据拆分到不同的服务器后执行Maptask任务,得到一个中间结果Reduce阶段 : 将Maptask执行的结果进行汇总,按照Reducetask的计算规则获得一个唯一的结果我们在MapReduce计算框架的使用过程中,我们只需要关注,Map任务的规则,和Reduce任务的规则即可MapReduce的核心思想是: 先分(Map)再和(Reduce)思考: MapReduce中hadoop服务帮我们完成了什么???

2024-04-07 14:40:28 984

原创大数据学习十二天（补hadoop基础1）

注意：在hdfs中使用任何文件或者目录，要使用绝对路径进行查找，在hdfs中没有工作目录的概念，更没有绝对路径的概念。如：hdfs dfs -put /var/log/messages /hdfs dfs -put 本地文件路径（写绝对路径）hdfs的路径。hdfs dfs -get hdfs的文件路径本地文件路径。1）hdfs dfs -ls 路径 //路径要从根路径指定。2）上传/etc/hosts文件到hdfs的it/a内。2）hdfs dfs -touch /路径/文件。

2024-04-02 20:52:06 1742 1

原创大数据学习第十二天（mysql不会的查询1）

dname VARCHAR(50) comment '部门名称',COMM DECIMAL(7,2) comment '奖金',sal DECIMAL(7,2) comment '薪资',job VARCHAR(50) comment '职位',4）列出薪金等于部门30中员工的薪金的非30号部门的员工的姓名和薪金。select b.ename '员工', a.ename '上级'mgr INT comment '上级',

2024-04-02 19:06:33 756 1

原创大数据学习第十二天（hadoop概念）

注意: 在企业级开发中我们使用的大多是商业版hadoop, CDH版本Hadoop在6.2.4版本之前是不收费的.3）ssh协议是服务器之间，或windos和服务器之间传递的数据的协议。此时不仅可以提供多台服务器的存储空间,同时可以增加服务器的读写效率,cpu,内存,网络带宽等.日常生活中不断产生各类数据，通过对各类数据的分析，得到用户的行为习惯，发现用户的数据价值。hadoop的发展受谷歌的三篇论文影响, 后被称为大数据发展的三驾马车。存储原理就是将大文件进行分割,分割后,将数据存储在不同的服务器内部。

2024-04-02 17:33:09 2262 3

原创大数据学习第十一天（复习linux指令3）

vim /etc/hostname 或者 echo 名字 > /etc/hostname。但是并不是所有的用户，都有权力使用sudo，我们需要为普通用户配置sudo认证。8)chmod -R 用户权限数字分组权限数字其他用户权限数字文件或目录。基本用法：chown [-R] [用户] [:] [用户组] 文件或文件夹。我们可以使用sudo命令，为普通的命令授权，临时以root身份执行。年(%Y)-月(%m)-天(%d) 时(%H):分(%M):秒(%S)

2024-04-01 10:54:22 585

原创大数据学习第十天（复习linux指令2）

find 目录路径 -size +10k 大于10k。find 目录路径 -size 10k 等于10k。find 目录路径 -size -10k 小于10k。如：echo hello world > a.txt //覆盖写入。基本用法：tail 文件名/tail -行数文件指定查看后几行。如：cat a.txt //查看文件的内容。如：find / -name 'a.*'如：more a.txt //查看文件内容。语法：wc[-c -m -l -w] 文件路径。

2024-03-28 22:17:33 497 1

原创大数据学习第九天（复习linux指令1）

1）计算的构成硬件和软件2）软件部分操作系统用户和计算机硬件之间的桥梁，调度和管理计算机硬件进行工作pc端winmaclinux 公司服务器使用较多移动端安卓ios鸿蒙应用程序。

2024-03-27 22:42:17 1002

原创大数据学习第九天（mysql查询已选/没选的课程）

stu_id int comment '学生id',cour_id int comment '课程id',这两个查询折磨了半个小时，必须把这俩晒一晒。values (0, '张三'),(0, '李四'),(0, '王五'),(0, '赵六'),(0, '田七');values (0, '语文'),(0, '数学'),(0, '英语'),(0, '物理'),(0, '化学'),(0, '历史'),(0, '地理');2）查询还没有被选过的课程有哪些。1）查询已经被选过的课程有哪些。

2024-03-27 21:32:43 1071

原创大数据学习第八天（FineBI学习）

数据可以帮助我们做什么?历史数据 ---离线计算分析已有数据,对于之前发生的事情做分析,找出问题原因实时数据 ---实时计算对当下发生的事情进行处理,即时展示数据信息,让企业可以关注实时发展动态未来数据 ---机器学习对于未来即将发生的事情进行预测,帮助企业调整发展方向FineBI有哪些产品优势?个人用户完全免费,企业用户收费较低.自助式BI工具: 企业或个人自己搭建服务器,访问该服务即可查看BI报表.兼容多种数据源,并且可以在一张表报表中使用多个数据源的数据.

2024-03-23 10:14:10 973

原创大数据学习第七天（kettle数据采集）

数据库: mysql 对于数据进行增删改查操作,一般都是业务数据库需要数据高速处理,及时响应对数据的安全性有极高的要求数据内容,数据形式比较单一.数据库一般是app或者用户通过接口访问.数据仓库: 一般是用于数据分析的数据集中平台将多重数据源(业务数据库, 日志信息, 备份文件,爬虫文件,问卷调查等)的数据集中存放在数据仓库中,便于分析统计数据仓库更加重视的是数据的吞吐量.对及时响应和高效读写没有太高的要求.数据仓库一般是数据业务人员使用。

2024-03-22 21:59:40 982

原创大数据学习第六天（mysql的收尾和练习）

('岳不群', 50, default, '华山剑法', 3),('东方不败', 99, '中性', '葵花宝典', 3),('梅超风', 40, '女', '九阴白骨爪', 1),('郭靖', 30, '男', '降龙十八掌', 1),('黄药师', 60, '男', '弹指神通', 1),('乔峰', 33, '男', '降龙十八掌', 2),('虚竹', 27, '男', '天山六阳掌', 2),('王语嫣', 18, '女', '神仙姐姐', 2),

2024-03-20 19:55:01 1058 1

原创大数据学习第五天

概念：保留右表中的全部数据，和左表中与右表连接成功的数据，其余数据不保留，右表中连接不成功的部分补充null。注意2： ==在使用group之后,无法在select中使用除分组字段之外的其他字段== //如果有名字，它会数据挑一个显示，就要用到concat。（6）如果想删除主表的数据，但是从表有主表对应的键值，要先删除从表对应键值的数据，才能删除主表的数据。概念：保留左表中全部的数据和右表中与左表连接成功的数据，其余数据不保留。

2024-03-19 18:15:56 331

原创大数据学习第四天

（2）update student set name = a,gender = '男' where id = 5;insert into student(id,gender) values(1,'男');（2）insert into student(id,name) values(5,'小明');insert into students values(1,'a','男');insert into students values(2,'a','女');如：查询以'香'开头，名字只有2个字符的商品信息。

2024-03-18 15:59:05 524

weixin_45787368的博客