大数据
文章平均质量分 58
Andy86666
列师并学,博采众长。主动进取,勿失良机。
展开
-
查看Hive的内置函数
eg:查看转换小写函数使用。eg:查询r结尾的函数名。eg:详细展示函数的信息。原创 2023-01-15 01:06:07 · 441 阅读 · 0 评论 -
解决:org.codehaus.jackson.JsonParseException:Unexpected end-of-input: expected close marker for OBJEC
row format也是每次序列化一行数据。今天将json文件导到Hive表中,出现。错误,不能解析json文件。:将json字符串放一行即可。来解析json文件。原创 2023-01-14 20:40:51 · 1293 阅读 · 0 评论 -
Hive on Spark中遇到的Failed to create Spark client for Spark session的问题
占用,而导致Map Task和 Reduce Task不能执行。在生产中不需要调整,在这里调整主要是我自己电脑资源不足导致的。参数实现的,默认值为0.1,即10%的资源。主要是为了防止大部分资源的被。可以通过rsync 或者 scp 分发给其他节点中。在自学数仓项目中,遇到以下问题。,它会每个资源队列中运行的。占用的资源进行啦限制,是在。导致出现这个问题主要是。文件分发给其他节点中。原创 2023-01-05 15:51:53 · 2168 阅读 · 3 评论 -
Sqoop安装教程
Sqoop主要使用来将Hadoop的数据与传统关系数据库数据的导出和导出,将关系型数据库的数据导入到HDFS中,也可以将HDFS的数据导出到关系型数据库中。Sqoop 底层原理:主要是通过将导入、导出的命令转成成MapReduce,通过map来导入导出。中添加以下内容,Hadoop、Hbase、Hive、zookeeper的安装路径。测试Sqoop是否能够成功连接数据库,并展示MySQL中数据库。将sqoop文件上传到Linux中,将文件上传到。,只需要里面的jar包。原创 2022-12-18 12:06:13 · 740 阅读 · 0 评论 -
Kafka2.4.1的环境搭建
hadoop2、hadoop3的ip地址是我在hadoop1的host中映射了的。注意:配置文件中的Hadoop1、hadoop2、hadoop3是我自己的集群,需要自己修改,(分别需要在hadoop1、hadoop2、hadoop3中进行执行)集群hadoop1、hadoop2、hadoop3,并且分别搭建好。在每台hadoop1、hadoop2、hadoop3中执行。补充知识:Apache的大数据组件各个版本的兼容。每台集群的broker.id值进行修改。,并且id的数据是唯一的,.........原创 2022-08-17 23:26:58 · 1447 阅读 · 3 评论 -
Apache 大数据组件各个版本兼容信息
Apache 各个版本兼容原创 2022-08-16 16:49:35 · 1821 阅读 · 0 评论 -
Hive3.1.2的搭建
Hive3.1.2的搭建。原创 2022-07-25 15:14:23 · 696 阅读 · 0 评论 -
Hadoop HA 集群搭建,基于hadoop3
HadoopHA需要先看、的知识,才能来使用HadoopHA注意HadoopHA主要分成HDFSHA和YarnHA。原创 2022-07-21 20:14:18 · 967 阅读 · 8 评论 -
Zookeeper3.5.7集群搭建
Zookeeper集群搭建原创 2022-07-15 16:59:15 · 1593 阅读 · 0 评论 -
Linux命令type和which的区别
共同点:区别点:原创 2022-07-04 17:57:58 · 675 阅读 · 0 评论 -
Linux中删除中带空格文件的办法
今天想要删除HDFS中带空格的文件直接用,会出现下面的错误通过通配符来解决补充知识: 匹配全部字符 匹配任意一个字符将文件名用引号引起来原创 2022-06-22 15:33:56 · 614 阅读 · 0 评论 -
RDD基础知识点
RDD:一个容错的、只读的、可进行并行操作的数据结构,是一种分布在集群各个节点的==存储元素的集合==RDD有3种方法创建parallelize有两个参数makeRDD的参数方法和一样属于:转换操作map是一种基础的RDD转换操作,用于将RDD中每一个数据元素通过某种函数进行转换并会生成新RDD,但是不会立即计算。由于RDD的特点是只读的、不可变的,因此进行修改后,必定会生成新RDDeg:将5个数据进行平方属于:转换操作flatMap是进行map,再进行flat(展平)eg:进行语句分割属于:转换操作原创 2022-06-21 19:06:14 · 548 阅读 · 0 评论 -
hadoop查看默认的配置文件
一、默认配置文件默认的配置文件在 $HADOOP_HOME/share/hadoop($HADOOP_HOME是取环境变量中hadoop的路径)进入到该目录下: cd $HADOOP_HOME/share/hadoop有以下几个目录:默认配置文件就在红框中(common、hdfs、mapreduce、yarn)补充知识:配置文件介绍cores-site.xml : 负责全局的配置(common)hdfs-site.xml:负责hdfs的配置mapred-site.xml: 负责原创 2022-04-30 19:07:57 · 4229 阅读 · 0 评论 -
linux 远程拷贝命令
一、scp命令 --远程拷贝文件Linux scp命令用于linux之间进行复制文件scp 是secure copy 的缩写,scp 是基于ssh登录来进行安全拷贝补充知识:ssh进行登陆ssh 用户名@IP地址scp优势:当服务器的磁盘变为read only system时,可以通过scp将文件移出。scp 不占资源,不会提高系统负荷。rsync虽然比scp的传输速度快,大量的小文件会导致硬盘I/O非常高,会影响系统正常使用。1、从远程复制文件到本地目录scp -r 用户@I原创 2022-04-28 00:36:10 · 20431 阅读 · 1 评论 -
hadoop查看默认的配置文件
hadoop查看默认的配置文件一、默认配置文件默认的配置文件在 $HADOOP_HOME/share/hadoop($HADOOP_HOME是取环境变量中hadoop的路径)进入到该目录下: cd $HADOOP_HOME/share/hadoop有以下几个目录:默认配置文件就在红框中(common、hdfs、mapreduce、yarn)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aotAvBvx-1650980923111)(https://gitee原创 2022-04-26 21:49:52 · 4556 阅读 · 0 评论 -
hadoop权威指南、hive编程指南、spark快速大数据分析(高清)
我用阿里云盘分享了一个文件,你可以不限速下载????复制口令H8vxSq7F5Tm打开「阿里云盘」App 即可获取。提取码:E6Nwhttps://www.aliyundrive.com/s/H8vxSq7F5Tm原创 2021-04-26 14:09:19 · 456 阅读 · 0 评论 -
Scala安装教程(最详细教程)
Scala安装教程我们分别在Windows和ubuntu上安装Scala,但是在安装Scala之前有个前提是都要提前安装好JDK1.8以上的。如果没有安装请看Windows安装JDK和ubuntu安装JDK。一、Windows安装Scala(一)、先下载Scala(二)、把下载的文件移动到想要安装的目录里,并解压文件。(三)、搭建环境变量1、把解压文件中的bin目录的路径复制下来...原创 2020-11-26 22:42:13 · 32927 阅读 · 1 评论 -
在Ubuntu18.04安装jdk8
在Ubuntu中安装jdk,第一种是开源的openjdk,第二种是闭源的Oraclejdk。第一种:安装openjdk81、安装命令:sudo apt install openjdk-8-jdk2、配置文件原创 2020-08-15 23:04:19 · 1870 阅读 · 0 评论 -
解决:centos中不能打拼音输汉字
解决:centos中不能打拼音输汉字虚拟机centos,不能输入汉字。只需在设置切换输入及可!1、在设置中Region&Language,输入源中的+号2、选择汉字(中国),再选择汉语(Intelligent Pingyin),点击添加3、把不要的输入法去掉,选择汉语,再选择-号这样就可以打拼音输汉字...原创 2021-05-11 22:11:46 · 2100 阅读 · 1 评论 -
hadoop2.7.5 集群搭建详细教程
hadoop3.3.0 集群搭建详细教程先准备好:hadoop3.3.0secureCRT提取码:u3cdjdk官网centos7一、模板机1、虚拟机的网络适配器选择NAT2、关闭centos的防火墙systemctl stop firewalldsystemctl disable firewalld.service3、将centos设置为自动连接网络在设置中,找到网络,把有线设置为自动连接4、让普通(andy)用户具有root权限sudo vim /etc/sudoe原创 2021-09-27 21:23:41 · 602 阅读 · 0 评论 -
centos7中提取jar包中的内容
centos7中提取jar包中的内容第一种方法:使用bsdtar 来提取jar包中的内容bsdtar 可以创建和操作流式档案文件,可以从tar、pax、cpio、zip、jar、ar、xar、rpm、7-zip和ISO 9660 cdrom镜像中提取内容使用之前需要先下载bsdtarsudo yum install bsdtar 参数使用方法——这里jar包为例列出文档内容bsdtar -tf 名称.jar提取出文档内容 bsdtar -xf 文档名.原创 2021-10-18 00:00:35 · 1581 阅读 · 0 评论 -
解决:master:Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)
解决:master:Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)今天在sbin/start-dfs.sh 开启hdfs的时候,出现下面的错误。原因:无密登录的时候,没有将公钥分发给自己的节点上,其他几个节点我都分发的了我重新将公钥分发到自己的节点上就解决这个问题了。ssh-copy-id 主机名导致这个原因也有可能是没有创建无密登录导致的...原创 2021-10-19 00:16:54 · 1857 阅读 · 1 评论 -
解决:ERROR:Attemping to operate on hdfs datanode as root
解决:ERROR:Attemping to operate on hdfs datanode as root今天在start-dfs.sh开启hdfs的时候,出现ERROR:Attemping to operate on hdfs datanode as rootERROR:but there is no HDFS_NAMENODE_USER defined 原因:我这里是使用root用户开启hdfs解决办法:退出root用户,切换到普通用户就解决了su 用户名注意:这里我是有root原创 2021-10-19 00:29:34 · 458 阅读 · 0 评论 -
解决jps:未找到命令的思路
解决jps:未找到命令的思路今天在jps查看进程的时候,jps未找到命令……有三种情况:没有安装jdk安装jdk后,环境变量有问题有可能是添加环境变量的时候路径有误安装jdk,环境变量也添加了,但是没有source /ect/profiled我是将/etc/profiled分发到其他集群上,忘记source /ect/profiled导致的...原创 2021-10-19 13:24:27 · 9015 阅读 · 1 评论 -
解决:在hive中报错 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
解决:在hive中报错 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient在hive中查询数据库的时候,出现以下错误FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient原因原创 2021-11-25 08:44:08 · 3282 阅读 · 1 评论 -
解决:hive用hiveserver2连接jdbc出现问题 Error: Could not open client transport with JDBC Uri:jdbc:hive2://
解决:hive用hiveserver2连接jdbc出现问题 Error: Could not open client transport with JDBC Uri:jdbc:hive2://hadoop1:10000在用jdbc连接hive的时候,出现下面的错误Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop1:10000: Failed to open new session: java.lang.Ru原创 2021-11-25 10:32:23 · 14282 阅读 · 1 评论 -
解决:测试HDFS读写性能时出现错误
解决:测试HDFS读写性能时出现错误今天测试HDFS的读写性能出现以下错误java.lang.IllegalArgumentException:Unsupported ByteMultiple M测试HDFS写执行的命令: hadoop jar hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 2 -fileSize 128MB我有三个集群,每台虚拟机只有1核,故集群一共只有3核,因此在-nr原创 2021-12-13 23:53:32 · 2587 阅读 · 1 评论 -
解决:安全模式一直不退出的问题
解决:安全模式一直不退出的问题在上传文件的时候,出现以下错误:put:cannot create file/yarn-version-info.properties._COPYING_.Name node is in safe mode.在进行web查询的时候,发现原来hdfs中的block丢失或者损失解决办法:方式一:退出安全模式hdfs dfsadmin -safemode leave查看当前安全模式hdfs dfsadmin -safemode get方式二:删除损坏的原创 2021-12-15 18:19:22 · 2146 阅读 · 0 评论