头歌
文章平均质量分 64
卷心菜yst
这个作者很懒,什么都没留下…
展开
-
【头歌】Hadoop开发环境搭建
配置开发环境是我们学习一门IT技术的第一步,Hadoop是基于Java开发的,所以我们学习Hadoop之前需要在Linux系统中配置Java的开发环境。原创 2023-05-09 10:58:47 · 19700 阅读 · 9 评论 -
【头歌】Linux 文件/目录管理
第1关:Linux之文件创建/删除 编程要求 本关的编程任务是补全右侧代码片段中Begin至End中间的代码,具体要求如下: 新创建两个文件空文件file1和file2。 删除系统已存在的两个文件oldFile1和oldFile2。原创 2023-04-21 11:10:35 · 5513 阅读 · 3 评论 -
【头歌】大数据从入门到实战 - 第2章 分布式文件系统HDFS
在右侧命令行中启动Hadoop,进行如下操作。在HDFS中创建/usr/output/文件夹;在本地创建hello.txt文件并添加内容:“HDFS的块比磁盘的块大,其目的是为了最小化寻址开销。”;将hello.txt上传至HDFS的/usr/output/目录下;删除HDFS的/user/hadoop目录;将Hadoop上的文件hello.txt从HDFS复制到本地/usr/local目录。原创 2023-04-21 11:57:49 · 16775 阅读 · 4 评论 -
【头歌】MongoDB 数据库基本操作
任务描述本关任务:创建数据库。相关知识本关评测是在 Linux 环境下进行的,MongoDB 的安装与配置测评系统均已默认完成。为了完成本关任务,你需要掌握:1.如何连接数据库;2.如何创建数据库。编程要求在右侧命令行中连接 MongoDB ,创建一个名为 mydb 的数据库,并插入数据:_id:1,name:"李小红"。原创 2023-04-21 12:24:37 · 4772 阅读 · 4 评论 -
【头歌】共享单车之数据存储
在右侧编辑器 Begin-End 中补充代码,获取 data.xls 文件中的数据,具体获取以下数据并将结果打印: trip_id 、开始时间、结束经度、车辆 id原创 2023-04-18 20:12:25 · 2566 阅读 · 2 评论 -
【头歌】HBase综合测试
使用 HBase shell 命令创建表: exam_tb1 ,向表中添加数据,表的数据与结构如下:原创 2023-04-18 21:28:53 · 4550 阅读 · 4 评论 -
【头歌】旅游网站大数据分析-数据抓取
现在我们目标是获取携程旅游网的数据,然后将获取到的数据清洗,清洗一些无意义的数据,最后在存入到Hadoop中,这样我们就完成了数据获取、数据清洗、数据存储。现在我们要来一起完成第一步,数据获取,在我们知道一个网站地址的前提下,如何提取该网站的数据为我们所用呢?需要一些工具,比如 Jsoup。Jsoup 的使用jsoup 是一款 Java 的 HTML 解析器,可直接解析某个 URL地址、HTML文本内容。它提供了一套非常省力的API,可通过 DOM,CSS以及类似于jQuery的操作方法来取出原创 2023-04-18 19:40:06 · 3335 阅读 · 3 评论