大数据
文章平均质量分 61
大数据相关内容
饭多多呀
爱吃饭饭的it从业者
展开
-
Centos7忘记密码
找到ro,改为rw init=/sysroot/bin/sh。按下 ctrl+x ,使用单用户模式启动。(使用键盘上的↓键向下翻页)原创 2023-10-20 15:45:00 · 168 阅读 · 0 评论 -
VMware Workstation 与 Hyper-V 不兼容
解决VMware Workstation 与 Hyper-V 不兼容。请先从系统中移除 Hyper-V 角色,然后再运行 VMware Workstation的最全详解。原创 2023-09-28 08:52:20 · 4056 阅读 · 0 评论 -
Hbase伪分布式安装与配置
启动Hadoop(需要先启动Hadoop才能启动hbase,并且Hadoop要配置正确,)添加以下内容,== 根据自己的jdk版本和路径==修改JAVA_HOME路径。保存修改的文件:点击键盘左上角Esc按钮–>输入:wq–>回车。验证环境变量配置正确,输入hbase–>回车,看到下图画面。2.解压habse到training。浏览器访问ip/主机名:16010。1.将habse上传到Linux。进入到hbase配置文件所在目录。输入以下命令,使环境变量生效。将以下代码加入到文件中。原创 2023-09-19 15:45:14 · 386 阅读 · 0 评论 -
Mac 连接虚拟机软件FinalShell安装使用教程
如果打开还是提示无法确认开发者的身份,就打开电脑偏好设置,点击“安全性与隐私”,再“通用”标签下,点击“仍要打开”1弹窗:无法开始“finalshell”,因为Apple无法检查其是否包含恶意软件。注意:先打开虚拟机,再使用finalshell连接。打开链接后,点击macOS下载地址进行下载。点击安装包,持续点击继续安装即可。点击上面文件按钮进行连接虚拟机。解决方案:开启任何来源。原创 2023-09-11 15:21:34 · 4191 阅读 · 1 评论 -
Kafka安装与配置
kafka安装与配置原创 2023-09-05 17:09:52 · 124 阅读 · 0 评论 -
Flume监听文件夹并上传到HDFS
监听/tools/flume文件夹,并上传到hdfs的flume目录下,且目录为当天的日期,并自定义监控文件前缀为:flu-原创 2023-05-11 17:03:50 · 609 阅读 · 0 评论 -
Flume监听文件并上传到HDFS
监听任意一个文件,并将监控结果上传到hdfs的/flume目录下。原创 2023-05-11 15:50:25 · 337 阅读 · 0 评论 -
Sqoop将HBase表数据导出到MySQL
sqoop不支持直接从hbase表中导出数据,但是可以借助hive来实现,具体步骤如下:hbase表结构和数据如下所示。原创 2023-04-14 09:56:41 · 494 阅读 · 0 评论 -
Sqoop增量导入
此模式要求检查列必须是时间戳类型,使用于当数据源表可能更新且每次更新都会把last-modified列的值设为当前时间戳,sqoop只会导入检查列时间戳数值大于等于–last-value指定的时间戳数值的那些记录。在Sqoop中,“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE)中传输数据,叫做:导入,即使用。用来指定一些列,这些咧在增量到日时用来检查这些数据是否作为增量数据进行导入,和关系型数据库中的自增字段及时间戳类似。执行成功后查看导入成功的数据。原创 2023-04-04 15:39:12 · 761 阅读 · 0 评论 -
Hadoop伪分布式安装与配置
HDFS------http://niit01:50070 (注意主机名,打不开就用192.168.xxx.xxx:50070) 可以用IP可以用主机名。出现**Active: active (running)**且高亮显示则表示是启动状态。出现 **Active: inactive (dead)**灰色表示停止。(注意版本,和你安装jdk的路径,看到请删除此注释)ip为你的ip niit01为步骤5配置的主机名。这个文件事先是不存在的,需要先创建一份此文件。可以看到刚才上传好的jdk,我的版本是。原创 2023-03-31 12:16:35 · 411 阅读 · 0 评论 -
Sqoop将mysql数据导入HBase
如果导入时没有指定–hbase-create-table,则需要在运行前在hbase中创建该表和对应列族,不然在进行导入时会失败。如果指定了–hbase-create-table,则在检测到没有该表时,sqoop会自动创建目标表和列族。因为我之前讲customer表导入到hdfs过,所以报错customer已存在,只需要将–hbase-table customer中的customer表改个名字重新运行即可。1.将mysql中customer表导入到hbase中。导入HBase的控制参数。原创 2023-03-28 16:10:43 · 540 阅读 · 0 评论 -
org.apache.hadoop.dfs.SafeModeException: Cannot delete/user/hadoop/input. Name node is in safe mode.
此错误是因为hadoop进入了安全模式。配置后重启hadoop即可。原创 2023-03-27 17:23:13 · 245 阅读 · 0 评论 -
Sqoop调用存储过程导出
在调用模式下,sqoop为每个记录调用存储过程来插入或更新数据。注意:创建存储过程时,如果参数有字符串,一定要加上长度!原创 2023-03-24 13:51:53 · 280 阅读 · 0 评论 -
HBase Shell命令
create :用来创建表,我们可以通过一个表名字,设置最少一个列族规范来创建表。list :展示hbase中目前所有的表describe(desc) :展示表的详细信息。disable :此命令将开始禁用命名表如果你想要删除一个表,必须先把此表禁用disable_all :它将通过匹配给定的正则表达式禁用所有表enable_这个命令将开始启用表如果被禁用的额表没有被删除,我们可以使用 enable,重新启用表。enable_all :它将通过匹配给定的正则表达式启用所有表。原创 2023-03-23 15:08:44 · 240 阅读 · 0 评论 -
Hbase代码运行报错:no route to host......
查看配置的ip和自己虚拟机的实际ip是否一致。检查IP和主机名的配置。修改之后再次运行代码即可。原创 2023-03-21 17:27:07 · 622 阅读 · 0 评论 -
ifconfig命令不能使用
查看ifconfig匹配的是net-tools.x86_64包,安装net-tools.x86_64包。安装成功之后,输入ifconfig查看。提示没有ifconfig安装包。来搜索ifconfig相关的包。如下图所示,为安装成功。原创 2023-03-21 14:44:23 · 1081 阅读 · 0 评论 -
Sqoop工具使用
1.导入hdfs2.导入hive3.导入hbase原创 2023-03-09 14:45:15 · 147 阅读 · 0 评论 -
Zookeeper 下载安装与配置
tar -zxvf zookeeper-3.5.9.tar.gz(此文件名根据自己文件实际名称来改)tar -xvf zookeeper-3.5.9.tar (此文件名根据自己文件实际名称来改)分别在以上路径下新建myid文件。原创 2023-03-07 16:05:04 · 1142 阅读 · 0 评论 -
Linux(centos7)安装mysql(8.0)
可从直接下载:https://dev.mysql.com/downloads/repo/yum/根据自己Linux的版本进行选择下载。原创 2023-03-07 11:32:18 · 1966 阅读 · 0 评论 -
Mac安装VM虚拟机
登录CentOS7根据刚才设置的用户名和密码登录然后进入虚拟机的network-scripts目录找到ifcfg-en开头的文件,上图中我的是ifcfg-ens33通过vi编辑该文件添加如下配置注意:IPADDR要填上面查到的允许范围内的IPDNS1可以为:8.8.8.8或者114.114.114.114重启网卡。原创 2023-03-03 20:54:06 · 17737 阅读 · 5 评论