- 博客(217)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 03 安装pycharm
PyCharm是一种Python IDE（Integrated Development Environment，集成开发环境），带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、项目管理、代码跳转、智能提示、自动完成、单元测试、版本控制。5.在下图界面中，选择“否，我会在之后重新启动”，点击“完成”。4.点击“安装”等待安装成功后，点击“下一步”，时间稍微长一点。3.弹出的界面上，将所有的复选框都选择中，点击“下一步”。1.双击软件进行安装，点击“下一步”。
2024-07-30 11:02:01
330
原创 02 pip指令的使用
我们在运行pip install命令时默认从官网下载指定的python包，但由于该官网属于国外网站，但网络不稳定的情况下，下载速度非常慢或下载失败，我们可以通过命令修改pip下载软件包的源。清华大学 TUNA 镜像源：https://pypi.tuna.tsinghua.edu.cn/simple/中国科技大学镜像源：https://pypi.mirrors.ustc.edu.cn/simple/北京外国语大学镜像源：https://pypi.mirrors.bfu.edu.cn/simple/
2024-07-30 10:48:20
308
原创 01 Python环境安装
提供了支持不同操作系统的安装包，目前最新版本为Python3.12，但在学习阶段一般不推荐大家使用最新版本的软件，因为对于其他软件需要该环境时，还不支持最新版本的环境。（注意：安装前记得勾选添加路径，若忘记了，后续需要自己手动添加）。2.点击windows进入下载界面，滚动页面往下拉，我选择了Python3.9.6版本的。10.在命令行输入python --version.显示版本信息，说明安装成功。8.上图进程完成后，进入以下界面，说明安装成功。1.进入官网选择合适的版本，进行下载。
2024-07-30 09:49:16
303
原创 hive分析学生、课程、成绩相关的数据
1.将测试数据存放到？home/yt用户目录下。三张内部表在HDFS上生成了相对应的目录。3.将测试数据装载到对应的表中。2.进入Hive，创建表。
2024-06-06 11:36:55
205
原创 Hive 基本操作
3.进入hive,切换到db_test库（如没有，可以先创建 create database db_test）2.将学生信息上传到/bigdata/hive/hive_stu目录下。1.启动Hadoop集群。
2024-06-05 11:26:45
376
1
原创 27 Hive安装-内嵌模式
（2）由于hive3.1.2内的 guava-19.0.jar版本较低，需要删除，再将hadoop3.1.4中的 guava-27.0-jre.jar复制过来。5.修改配置文件/etc/profie.d/my_env.sh文件，添加环境变量。（1）弃用log4j-slf4j-impl-2.10.0.jar。2.上传到master节点的/opt/software目录下。6.初始化元数据库（默认数据库时derby）3.解压到/opt/module目录下。（2）保存并退出，刷新配置文件。7.解决日志包冲突问题，
2024-05-30 10:41:13
358
原创 26 centos7.8安装Mysql8.4
在集群中=我们选择将Mysql安装在slave01节点上。1.在官网下载mysql安装包MySQL :: Download MySQL Yum Repository下载后上传到slave01节点的/opt/software目录下。2.切换到root用户下3.查看和删除安装的MySQL软件包和依赖包rpm -pa | grep mysql若找到了相关的mysql文件，执行以下名删除文件。（此处没有找到）yum remove mysql-*****(需要删除
2024-05-30 09:34:47
642
原创 25 使用MapReduce编程了解垃圾分类情况
1.通过finalshell 上传到master节点，再使用hdfs命令上传到HDFS文件系统的/bigdata目录下（也可使用Java API 实现上传）统计数据中各类型垃圾的数量，分别存储可回收垃圾、有害垃圾、湿垃圾和干垃圾的统计结果。（存储到4个不同文件中，垃圾信息）测试数据中1表示可回收垃圾，2表示有害垃圾，4表示湿垃圾，8表示干垃圾。（1）自定义键的类型 垃圾名称，垃圾分类编号，垃圾分类名称。（1）统计各类型垃圾数量 需要自定义计数器。（2）分别存储垃圾信息，需要自定义分区。
2024-05-29 11:06:45
485
2
原创 24 使用MapReduce编程统计各科目成绩最高的学生
2.创建Maven项目，修改配置pom.xml文件，添加log4j.properties(步骤省略)7.编写Driver模块此类需要继承 Configured 实现 Tool接口。最后直接运行主类ScoreCount.1.准备测试数据并上传至HDFS中。3.自定义值的类型Student。(1)当前项目下生成jar文件。5.编写Reducer模块。（2）控制台输出了日志信息。4.编写Mapper模块。6.编写JarUtil。
2024-05-22 10:46:11
1402
6
原创 IDEA自动打包执行报错Exception in thread “main“ org.apache.hadoop.security.AccessControlException: Permission
使用idea自动打包mapreduce程序并直接运行，代码错误：Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=AOC, access=EXECUTE, inode="/tmp":yt:supergroup:drwxrwx---。这是与hadoop权限有关，我们集群启动是yt用户，安全模式用户也是yt,没有在集群中配置windows的用户。
2024-05-20 17:49:59
342
原创 23 在IDEA中自动打包MapReduce程序并执行
注意：代码执行过程中出现权限问题：一定要去环境变量中配置HADOOP_USER_NAME变量，详见。2.修改驱动类：继承 Configured 实现Tool。1.编写JarUtil工具类，完成xxx.jar打包操作。（2）在IDEA的控制台可以看到日志输出信息。（1）在项目的当前目录下会生成jar文件。上修改驱动类的代码，完成自动打包操作。3.运行LogCount类。
2024-05-20 17:45:17
449
1
原创 Hadoop Java API操作 及读取序列化文件（04-05-06）
/单元测试 每个操作放在一个测试方法中， 选中方法名---》右击 运行testList()//2.获取文件系统对象 yt启动集群的用户名。//2.获取文件系统对象 yt启动集群的用户名。//2.获取文件系统对象 yt启动集群的用户名。//2.获取文件系统对象 yt启动集群的用户名。//2.获取文件系统对象 yt启动集群的用户名。//2.获取文件系统对象 yt启动集群的用户名。//3.获取HDFS根目录下的子目录和文件。//读取序列化文件中的数据保存到本次磁盘。//1.创建配置对象。
2024-05-15 17:02:28
573
原创 22 优化日志文件统计程序-按月份统计每个用户每天的访问次数
1.自定义键的类型 MemberLogTime 包含两个属性(memberId,memberLogTime) 实现WritableComparable接口。//将用户ID和访问时间存到MemberLogTime对象中。3.在resources目录下创建日志文件log4j.properties。7.使用Maven打包为Jar文件，上传到master节点上执行。2.编写Mapper模块：（在Mapper中计数器，使用枚举）//一月计数器值+1。//设置reduce任务数2。//计数器（动态计数器）
2024-05-15 10:55:08
1079
原创 21 使用Hadoop Java API读取序列化文件
1.我直接在上一个项目中test/java目录下创建com.maidu.selectdata.test.APITest类，test目录下的内容在打包时不会出现在jar文件中，仅供测试所用。在上一个实验中我们筛选了竞赛网站日志数据中2021/1和2021/2的数据以序列化的形式写到了hdfs上。接下来我们使用Java API 读取序列化的数据保存到磁盘中。3.运行 选择方法名右击运行。4.进入D盘查看文件。
2024-05-08 10:42:48
381
原创 20 筛选日志并生成序列化文件
System.out.println("必须输入文件输入路径和输出路径");3.本次只需要进行序列化操作，所以不需要Reducer模块，编写Mapper模块。5、使用maven打包为jar,上传到master上。1.在idea中创建项目 selectData.2.添加依赖，插件包，指定打包方式，日志文件。//设置reduce任务为0。大家可以直接从前面项目复制。4、编写Driver模块。
2024-04-25 11:48:16
911
1
原创 集群移植到本机上
2、修改版本-由于我给大家发的VM16，而教师机上安装的是VM17，那在我们那边打开会有问题，修改下版本信息即可。4、拷贝过去的虚拟机跟你电脑的上的虚拟网络不是同一网段，大家不要修改虚拟机中，直接修改VM上以及windows系统下的。很多同学集群没有搭建成功，为了后续的课程大家可以从教师机拷贝整个集群到自己的电脑上。master,slave01,slave02,hadoop100都需要修改。3、在VM上打开虚拟机，选择对应的虚拟机。6、配置windows系统下的虚拟机。5、修改VM 可以参考前面的文章。
2024-04-25 11:14:50
242
5
原创 19 使用MapReduce编程统计超市1月商品被购买的次数
/3 水果 水果作为键 值 1(数量1 不是 3 表示用户编号)在com.maidu.ordercount包中创建一个新类ShoppingOrderCount类，编写以下模块。首先将1月份的订单数据上传到HDFS上，订单数据格式 ID Goods两个数据字段构成。System.out.println("必须输入读取文件路径和输出文件路径");将订单数据保存在order.txt中，（上传前记得启动集群）。在ShoppingOrderCount类中编写主方法。修改pom.xml，添加依赖。
2024-04-24 11:34:13
2048
原创 18 统计网站每日的访问次数
每条数据的字段值之间使用逗号隔开的 ，最终时间是第五个自动，获取第五个字段值的中的年月日。2.通过Idea创建项目mr-raceData ,基础的配置。编写代码后，需要将其打成Jar包，需要修改pom.xml。通过浏览器访问hdfs,查看该文档前面的部分数据。拷贝到桌面，上传的master的当前用户目录下。1.将竞赛的数据上传HDFS,查看数据的格式。执行jar文件，实现访问每条访问次数的统计。将竞赛日志数据取部分上传到hdfs上。最后使用maven打包为Jar。制定打包的方式为jar。
2024-04-17 11:51:06
1552
原创 17 如何查看Hadoop中wordCount源码
我们使用的是hadoop-3.1.4版本，直接进入官网进行下载： 下载得到的文件如下图所示：
2024-04-11 11:50:36
285
4
原创 16 Java API操作HDFS
参数的优先级：1.客户端的代码中 > 2.ClassPath下自定义的文件> 3.服务器中自定义的（集群中）我们在windows平台下，使用Java代码作为客户端访问HDFS，对他进行相关的操作。hadoop集群中默认的副本是3，接下来代码中设置副本数为2，执行以下代码，看看最终副本数是多少？2.在pom.xml文件中添加依赖（注意：初次使用需要连接外网，需要下载对应的依赖文件）4.目前直接使用单元测试进行操作，我们源代码文件直接创建在test/java/目录下。6.实现文件上传，设置创建的副本数。
2024-04-08 21:27:04
755
原创 SQLServer2022安装
7.功能选择 使用功能选择数据库引擎服务，建议将目录改为非系统盘，如果大家不想自定义路径，建议直接将C 改为D即可。注意：在运行时最好获取管理员权限运行，第一次在安装时未获取管理员权限最终安装失败，卸载后重新安装，以管理员权限运行最终成功了。2.进入安装界面，选择第一个“全新SQLServer独立安装或向享有安装添加功能”等待安装完成，需要10分钟时间，大家耐心等待，安装完成后，再安装SSMS，后面不再截图。9.服务配置：启动类型都改为自动，后期熟练使用后，建议进入服务，修改启动类型为“手动”
2024-04-07 08:50:52
469
原创 window安装maven和hadoop3.1.4
大家不用去官网下载，直接使用我发给大家的压缩文件，注意解压后的文件夹不要放在中文目录下，课堂上我们讲解过原因。前面的文章已讲解如何安装idea和进行基本设置，本文主要带着大家安装配置好maven和hadoop.这是我电脑上的路径，大家最好都放在D:\\software目录下。显示版本信息，说明配置成功。最后打开命令行窗口输入。
2024-04-06 12:45:55
563
2
原创 is running 261401088B beyond the ‘VIRTUAL‘ memory limit. Current usage: 171.0 MB of 1 GB physical
注意：在修改配置文件前，需要停止集群中的yarn (可执行命令 stop-yarn.sh 修改完成后再启动，start-yarn.sh)，最后重新执行wordcount模块进行邮箱 统计。此处可修改/opt/modulr/hadoop-3.1.4/hadoop/etc/yarn-site.xml。在/opt/modulr/hadoop-3.1.4/hadoop/etc/yarn-site.xml插入以下代码。-- 是否对容器强制执行虚拟内存限制 -->
2024-04-06 12:26:56
317
原创 InterliJ IDEA基本设置
1.打开软件，先安装插件-汉化包（不推荐，最好使用英文版），本次我们使用汉化版本完成基本设置，后期希望大家适应英文版的开发环境。（写文章时已经给大家汉化完成了）安装好idea后，将软件打开，可以进行基础设置。2.设置窗体和菜单大小，主题。3.设置自动导包，移包。5.取消单行显示Tab。6.设置默认字体大小。7.设置类头文档注释。
2024-04-02 10:24:22
453
原创 windows无法使用hadoop报错：系统找不到路径
方案：由于JAVA_HOME路径有空格导致，可修改hadoop下\etc\hadoop\hadoop_env.cmd文档中set JAVA_HOME以修复该问题。环境变量的问题解决了，接下来解决批处理标签，进入D:\software\hadoop-3.1.4\bin目录下；将hadoop.cmd。将文件末尾处的HADOOP_IDENT_STRING值加上""转好后保存，其他三个文件做相同的操作。在配置中需要修改空格，参考如下。OK，说明错误已经解决。
2024-03-30 11:25:19
1224
原创 windows安装jdk8
我们会在windows中通过Java代码去操作hadoop集群，因此我们需要在windows系统中配置java相关的环境，今天带着大家安装以下jdk8.安装完成，可以进入C:\Program Files\Java，查看到jdk8相关目录说明安装成功。4. 此电脑--》右击 --》属性，接下来操作如下图所示。6.完成后，窗口点击确定完成关闭窗口的操作，这样内容才能被保存。如果显示版本信息，说明环境变量配置成功。3.环境变量配置-将jdk8的路径复制。5.双击path,插入%JAVA_HOME%\bin。
2024-03-28 19:49:39
559
原创 15 HDFS 常用的shell命令
总结来说，Hadoop命令是一个更广泛的概念，它包括了与Hadoop集群管理、服务操作相关的所有命令，而HDFS命令是Hadoop命令的一个子集，专门用于操作HDFS文件系统的命令。Hadoop命令通常指的是与Hadoop生态系统相关的命令行工具，它们可以用于管理Hadoop集群和与Hadoop相关的各种服务。HDFS命令的使用语法通常为`hdfs dfs`，后面跟着具体的操作子命令，如`put`用于上传文件，`cat`用于查看文件内容，`get`用于下载文件等。81 表示 27*3 个副本；
2024-03-27 20:08:06
712
原创 14 编写常用脚本
我们会发现每次启动和关闭集群，都需要逐个服务依次开启或关闭，操作起来很不方面，因此我们自己编写一些脚本完成集群的启动和关闭，查看每台服务器上集群的进程。echo " =================== 启动 hadoop 集群 ==================="echo " =================== 关闭 hadoop 集群 ==================="echo " --------------- 关闭 yarn ---------------"保存并退出，修改权限。
2024-03-27 19:01:32
412
原创 13 完全分布式搭建-集群配置
Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在。$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。要获取的默认文件 文件存放在 Hadoop 的 jar 包中的位置。在文章中与教材上有区别，在理论课上已讲解。
2024-03-25 23:58:08
810
原创 12 完全分布式搭建-SSH免密登录
还需要在 slave02上采用 yt 账号配置一下无密登录到 master、slave01、slave02服务器上。还需要在 slave01上采用 yt账号配置一下无密登录到 master、slave01、slave02服务器上。还需要在 master上采用 root 账号，配置一下无密登录到 master、slave01、slave02；然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）3）.ssh 文件夹下（~/.ssh）的文件功能解释。（4）生成公钥和私钥。
2024-03-25 23:47:41
384
原创 集群时间同步
如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；- 如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。我们以master服务器作为时间服务器，其他机器都校对master的时间。（c）添加 3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中。b）修改 2（集群在局域网中，不使用其他互联网上的时间）增加内容如下（让硬件时间与系统时间一起同步）（4）1 分钟后查看机器是否与时间服务器同步。
2024-03-24 23:23:27
571
原创 11 搭建完全分布式-远程传输文件
2.1 首先确保slave01,slave02机器上有/opt/software /opt/module ，同时确保属于yt:yt用户：用户组,如果不属于获取不存在建议看前面的文件关于模版虚拟机的准备。按照前面的克隆，需要准备三台服务器，master,slave01,slave02.（服务器设置了静态IP、主机名称、关闭防火墙）。2.通过scp命令将master上的jdk8目录拷贝到slave01、slave02的/opt/module目录下。scp [参数] [原路径] [目标路径]
2024-03-21 10:20:54
1130
原创 10 搭建Hadoop单机环境并进行测试
输入命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar wordcount input/word.txt output。进⼊hadoop3.1.4⽬录下，创建⼀个⽬录input,进⼊input⽬录下，编辑⼀个⽂档，在⽂档中编写⼀些单词。命令： tar -zxvf Hadoop-3.1.4.tar.gz -C /opt/module。输入命令： cd /opt/module/hadoop-3.1.4。
2024-03-20 19:12:34
604
原创 9 master安装JDK
3.环境变量配置,以前我们一般都是配置在/etc/profile文件中，但是在这个配置文件中有一段shell脚本，表示在加载该文件时，也会将/etc/profile.d目录下x.sh的文件进行加载，所以本次将环境变量的配置放在自建的my_ens.sh文件。在搭建集群环境前，需要安装JDK，Hadoop平台的源码是Java代码，所以需要Java的运行环境。2.执行解压缩命令 将解压的文件放到/opt/module目录下。输入命令： sudo vim /etc/profile.d/my_ens.sh。
2024-03-20 19:01:19
439
原创 8 克隆虚拟机
后期集群我们需要使用多台服务器，此处我们先克隆三台，master,slave01,slave02.1.建议先关闭模版虚拟机。再选择 末班虚拟机右击--》管理 --》克隆。以上步骤完成虚拟机的克隆，其他slave01,slave02按相同操作完成。其他几台虚拟机按相同的步骤完成，salve01,slave02.配置完成后，重启打开终端，就会发现主机名变成master.3.开启Master虚拟机，需要修改主机的IP，主机名。命令： vim /etc/hostname。命令： vim /etc/hosts。
2024-03-20 11:50:28
703
原创 7 配置模板虚拟机
注意：yt这一行不要直接放到 root 行下面，因为所有用户都属于 wheel 组，先配置了 yt具有免密功能，但是程序执行到%wheel 行时，该功能又被覆盖回需要密码。使用远程连接工具finalShell连接虚拟机后，接下来我们使用yum命令完成一些基础软件包的安装，以及将咱们新建的用户赋予管理员权限，最后关闭防火墙和卸载自带的JDK。我们将使用yum命令进行安装，首先测试是否与外网相同，前面我们已经测试过，此处再进行测试，防止有的同学忘了连接外网。（安装的桌面版本一般都有自带的jdk，需要删除。
2024-03-19 19:56:46
1191
原创 6 修改主机名和HOSTS文件
主机名的修改我们可以在安装操作系统时对其修改，如果忘记了，就可以修改配置文件完成，像后期我们进行虚拟机克隆后，就必须通过修改配置文件的方式完成主机名的修改。3.修改Hosts文件配置多台服务器IP地址，这样后期我们可以根据主机名访问服务器，如果后期IP地址发生变化我们也只需要在Hosts文件中修改主机名对应的IP地址，而集群下的配置文件不需要做任何的修改即可正常工作。2.在打开的文件中，进入编辑模式 按 i键即可 ，修改完后，按Esc退出编辑模式，最后输入:wq保存文件并退出。
2024-03-16 10:54:30
1040
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人