- 博客(37)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 spark报java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.defaultNumHeapArena()I
spark2.4.6与scala2.11.12运行程序过程中，遇到了netty版本冲突或包缺失导致程序出现NoSuchMethodError异常，报错如下：Exception in thread “main” java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.defaultNumHeapArena()I20/07/13 12:50:55 INFO SecurityManager: SecurityManager: au
2020-07-13 13:57:04
1897
3
原创 spark2.4.6报 java.io.FileNotFoundException
**spark2.4.6报 java.io.FileNotFoundException**提示：WARN TaskSetManager: Lost task 1.0 in stage 0.0 (TID 1, 172.16.50.32, executor 1):java.io.FileNotFoundException: File file:/home/hadoop/input/wc.txt does not exist在确认文件存在的情况下，出现这个问题的原因是：我们是在集群上运行wordcoun
2020-07-02 14:04:33
2273
原创 python pandas中关于DataFrame行、列显示不完全的解决方法
DataFrame中的行列数量太多，print打印出来会显示不完全解决办法：#显示所有列pd.set_option('display.max_columns', None)#显示所有行pd.set_option('display.max_rows', None)#设置value的显示长度为200，默认为50pd.set_option('max_colwidth',200)即可解决字段内容显示不完整，行或列显示不全问题...
2021-03-20 14:32:08
1366
原创 Linux命令查看文件指定行的内容
Linux如何显示文件指定行数的内容的方法，有如下几种方法：tail -n +/-数字 文件名head -n 数字 文件名sed -n “开始行，结束行p” 文件名下面分别具体介绍这几种方法如何使用：tail -n +数字 文件名表示查看文件的某一行到最后一行，比如查看helloworld.txt的第3行到最后一行:tail -n +3 helloworld.txttail -n -数字 文件名表示查看文件的最后几行，比如查看helloworld.txt的最后5行:tail -n
2020-10-21 19:57:13
6181
原创 ip地址与long数值互相转换
IPv4地址是一个32位的二进制数，通常被分割位4个“8位二进制数”一、将ip地址转成long数值将IP地址转化成整数的方法如下：1、通过String的split方法按.分隔得到4个长度的数组2、通过左移位操作（<<）给每一段的数字加权，第一段的权为2的24次方，第二段的权为2的16次方，第三段的权为2的8次方，最后一段的权为1二、将数值转换为ip地址将整数形式的IP地址转化成字符串的方法如下：1、将整数值进行右移位操作（>>>），右移24位，右移时高位补0，得到
2020-09-29 21:05:59
2299
原创 MySQL安装后在服务里找不到或者服务启动不起来解决方法
1.打开命令行，进入到MySQL服务的根目录下的bin里执行：mysqld.exe -install 成功了会出现安装成功的提示，不成功可能是因为你的权限不够，则用管理员权限打开命令，执行该操作2.安装完成后启动，再次执行 net start Mysql 会提示服务正在启动...
2020-09-29 20:21:27
581
原创 java实现:给定整数数组，使其各个数字整体向后移动N个位置
题目：给定整数数组，使其各个数字整体向后移动N个位置，如果后移的位置超过整数数组的长度，则将该数字从头开始继续后移示例输入：[1,2,3,4,5,6,7,8,9,10,11,12,13,14],17示例输出：[12, 13, 14, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]代码实现：package shenzhoushuma;import java.io.BufferedReader;import java.io.IOException;import java.
2020-09-29 19:57:22
1116
原创 给定一字符串，求出现次数最多的那个字符及次数，如次数最多的字符有多个则都输出
题目：给定一字符串，求出现次数最多的那个字符及次数，如次数最多的字符有多个则都输出思路：1.首先读取字符串中的第一个字符，将字符串中与第一个字符相同的字符全部删除掉，然后通过计算删除前后字符串的长度差来确定该字符在字符串中出现的次数，最终比较出出现最多次的字符2.设置一个list集合存储出现次数最多的字符，max_num记录出现最多的次数(1)如果删除前后的字符串长度差等于前一次max_num，则添加到list(2)如果删除前后的字符串长度差大于前一次max_num，清空list，更新max_s
2020-09-29 19:56:21
1243
原创 方法的覆盖和重载有什么区别
重载与覆盖的区别1、方法的覆盖是子类和父类之间的关系，是垂直关系；方法的重载是同一个类中方法之间的关系，是水平关系2、覆盖只能由一个方法，或只能由一对方法产生关系；方法的重载是多个方法之间的关系3、覆盖要求参数列表相同；重载要求参数列表不同4、覆盖关系中，调用那个方法体，是根据对象的类型（对象对应存储空间类型）来决定；重载关系，是根据调用时的实参表与形参表来选择方法体的override可以翻译为覆盖，从字面就可以知道，它是覆盖了一个方法并且对其重写，以求达到不同的作用。对我们来说最熟悉的覆盖就是对
2020-09-23 14:29:49
6718
原创 spark与MongoDB联合使用报catalyst.analysis.TypeCoercion$.findTightestCommonTypeOfTwo()Lscala/Function2
报错如下：java.lang.NoSuchMethodError: org.apache.spark.sql.catalyst.analysis.TypeCoercion$.findTightestCommonTypeOfTwo()Lscala/Function2;java.lang.NoSuchMethodError: org.apache.spark.sql.catalyst.analysis.TypeCoercion$.findTightestCommonTypeOfTwo()Lscala/Fun
2020-08-17 18:11:48
485
原创 Pycharm安装教程（图文详细）
下载安装包Pycharm官网下载安装包 ，这里附上链接pycharm官网下载链接开始安装1.双击“pycharm-professional-2020.1.3.exe”进入到软件安装向导界面，如下图，点击“next”2.设置安装目录，默认安装在C盘，建议安装在D盘，然后点击“next”3.根据自身需求参照勾选，建议勾选图示的两个选项就可以，然后点击“next”4.然后点击“install”5.点击“finish”,安装就完成了...
2020-08-04 17:57:19
8276
原创 在hive中，使用动态分区插入数据报dynamic.partitions.pernode. Maximum was set to: 100
报错如下：The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to: 100报错原因：hive shell中默认的参数hive.exec.max.dynamic.partitions.pernodehive.exec.max.dynamic.par
2020-07-28 11:27:32
2678
原创 在hive中把查询出来的数据导入数据表时报FAILED: SemanticException [Error 10096]: Dynamic partition strict mode...
报错如下：hive (sdw_data)> insert overwrite table SDW_DATA.SDW_LOAN_DK > partition(LN_DB_PART_ID)select * from SDA_DATA.SDA_CBOD_LNLNSLNS ;FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one stat
2020-07-28 10:14:52
2299
原创 IDEA中运行SparkSql报javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
在IDEA中运行SparkSql，报错如下20/07/20 21:16:25 WARN HiveMetaStore: Retrying creating default database after error: Error creating transactional connection factoryjavax.jdo.JDOFatalInternalException: Error creating transactional connection factory at org.datanuc
2020-07-20 21:34:41
1510
原创 启动SparkSql，报javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
启动SparkSql，报错如下：20/07/20 08:02:48 WARN metastore.HiveMetaStore: Retrying creating default database after error: Error creating transactional connection factoryjavax.jdo.JDOFatalInternalException: Error creating transactional connection factoryNestedThro
2020-07-20 20:57:04
1822
原创 sqoop1.4.7报ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf.
使用sqoop从mysql向hive中导入数据报错如下：20/07/18 04:13:38 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.20/07/18 04:13:38 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.Clas
2020-07-18 19:49:45
408
1
原创 hbase环境搭建及集群的安装部署
搭建HBase环境HBase安装部署1.环境准备1）正确安装JDK并正确设置环境变量2）正确安装Hadoop并正确设置环境变量3）正确安装ZooKeeper并正确设置环境变量2.HBase 安装及配置1）把 hbase-1.4.5-bin.tar.gz 上传到linux的/home/hadoop/ 目录下2）解压 hbase-1.4.5-bin.tar.gz 到/opt/wdp/目录下面[hadoop@hrbu30 ~]$ tar -zxvf hbase-1.4.5-bin.tar.gz
2020-07-17 17:22:44
235
原创 Win10配置MySQL的环境变量
1.右键点击“此电脑”，然后点击“属性”，选择“高级系统设置”，然后点击“环境变量”，选择新建2.设置变量名为“MYSQL_HOME”,变量值为自己安装mysql服务的路径3.双击“path”4.点击新建，添加mysql的环境变量，最后点击确定即可，这样环境变量就配置完了...
2020-07-17 11:47:47
3748
原创 MySQL5.7.31安装配置（图文详细教程）
下载MySQL安装包，选择自己需要的版本，我用的是5.7.31下载链接：https://dev.mysql.com/downloads/windows/installer/5.7.html安装包下载1.选择版本，点击download下载2.弹出一个页面，点击”No thanks…”,进行下载3.找到下载的文件，双击文件名称，进行安装开始安装1.选择适合自己的模式，我选择的是自定义安装，然后Next2.根据自己的系统选择是X64还是X86 ，我是X64位系统，所以选择移除所有X86的组
2020-07-17 11:36:21
29812
6
原创 启动hive时报ls: 无法访问/opt/wdp/spark/lib/spark-assembly-*.jar: 没有那个文件或目录
报错如下： ls: 无法访问/opt/wdp/spark/lib/spark-assembly-*.jar: 没有那个文件或目录[root@hrbu30 hive]# hivels: 无法访问/opt/wdp/spark/lib/spark-assembly-*.jar: 没有那个文件或目录Logging initialized using configuration in jar:file:/opt/wdp/hive/lib/hive-common-1.2.2.jar!/hive-log4j.pr
2020-07-16 18:01:10
353
原创 hive报java.lang.RuntimeException
报错如下：Exception in thread “main” java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient报错原因：Metastore默认存储在自带的derby数据库中，derby是一种单用户独占式轻量级数据库，当一个derby数据库被使用时，其他用户就无法再使用此数
2020-07-16 15:11:56
1270
原创 Hive环境搭建与mysql数据库安装
首先，准备好hive安装包，下载hive安装包官方地址：hive安装包下载链接Hive安装1.把下载下来的安装包 apache-hive-1.2.2-bin.tar.gz 上传到 linux 的/home/hadoop/ 目录下2.解压 apache-hive-1.2.2-bin.tar.gz 到/opt/wdp/目录下面[hadoop@hrbu30 ~]$ tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /opt/wdp/3.修改 apache-hive-
2020-07-16 14:20:35
623
原创 删除硬盘出厂预留的磁盘空间
1.打开windows运行（win+R）2.输入命令"diskpart",回车3.输入命令"list disk",查看分区属于哪一个磁盘4.输入命令"select disk N"选择所选磁盘（N为所要删除分区的磁盘，如果分区的磁盘为3，那么输入的命令即为"select disk 3"）5.然后输入执行命令"clean",即可完全清除没用的分区，就搞定了...
2020-07-14 21:11:20
270
原创 spark报org.apache.spark.SparkException: Exception thrown in awaitResult异常
运行spark程序时，报错如下20/07/13 16:09:39 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://DESKTOP-27NPJ0G:404020/07/13 16:09:39 INFO SparkContext: Added JAR D:\Software\java\WorkSpace\hrbuspark\target\SparkWordCount.jar at spark://DESKTOP-27NPJ0G:53
2020-07-13 16:18:52
8638
原创 spark在yarn模式下运行程序报running beyond virtual memory limits
错误提示：Diagnostics: Container [pid=5677,containerID=container_e01_1594549493537_0002_02_000001] is running beyond virtual memory limits. Current usage: 269.4 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.20/07/12
2020-07-12 20:32:42
907
原创 Spark启动时报JAVA_HOME is not set异常
Spark启动时报JAVA_HOME is not set异常报错提示：starting org.apache.spark.deploy.master.Master, logging to /opt/wdp/spark/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-hrbu30.outhrbu32: starting org.apache.spark.deploy.worker.Worker, logging to /opt/wdp
2020-07-12 16:42:52
1983
原创 Spark环境搭建之standalone模式安装
Standalone模式: 即构建一个由Master+Slave构成的Spark集群，Spark运行在集群中。standalone模式安装spark安装包下载地址官网下载链接1.上传并解压spark安装包,改文件夹名称，便于使用[hadoop@hrbu30 ~]$ tar -zxvf spark-2.4.6-bin-hadoop2.7.tgz -C /opt/wdp/[hadoop@hrbu30 wdp]$ mv spark-2.4.6-bin-hadoop2.7 spark2.进入spar
2020-07-12 14:15:44
423
原创 ZooKeeper的分布式模式的安装与配置
Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应，从而实现集群中类似Master/Slave管理模式。Zookeeper=文件系统+通知机制1.集群规划，我准备在hrbu30、hrbu31和hrbu32三个节点上部
2020-07-11 21:33:39
251
原创 ZooKeeper的本地模式的安装与配置
Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。首先下载zookeeper压缩包，下载地址官网链接本地模式安装部署1.上传zookeeper压缩包到linux系统中，解压zookeeper压缩包到指定目录(注意当前所登录的用户)，重命名[hadoop@hrbu30 ~]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/wdp/[hadoop@hrbu30 ~]$ cd /opt/wdp/[hadoop@hrbu30 wdp
2020-07-11 20:21:44
584
原创 配置YUM源出现[Errno 14] PYCURL ERROR 22 - “The requested URL returned error: 404 Not Found“
错误提示：http://172.16.50.30/CentOS/repodata/repomd.xml: [Errno 14] PYCURL ERROR 22 - “The requested URL returned error: 404 Not Found”解决方法：
2020-07-10 19:00:13
5669
1
原创 scala初学者入门练习题3
1、一个数字如果为正数，则它的signum为1;如果是负数,则signum为-1;如果为0,则signum为0.编写一个函数来计算这个值import scala.io.StdInobject Example extends App { println("请输入数字：") val num =StdIn.readInt() signum(num) def signum(num : Int){ if (num > 0){ println(1) }else if
2020-07-09 18:26:13
791
原创 SSH服务器免密钥登录配置
首先我们需要准备两台或两台以上服务器或虚拟机，配置好ip，配置ip参见：配置虚拟机IP1.生成公钥和私钥,执行命令，然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）ssh-keygen -t rsa2.将公钥拷贝到要免密钥登录的机器上（每台机器都执行，包括自己IP）ssh-copy-id 172.16.50.30ssh-copy-id 172.16.50.31ssh-copy-id 172.16.50.32...
2020-07-09 18:05:33
196
原创 VMware新机器配置网络
1.点击“编辑”，查看虚拟网络编辑器2.因为需要管理员权限，点击“更改设置”3.点击VMnet8那一栏，配置子网ip与子网掩码，进行NAT模式设置4.配置网关IP，点击“确定”5.配置DHCP，设置起始IP地址与结束IP地址，起始设置为172.16.50.3，因为172.16.50.2被网关占用了，结束地址可以设置为172.16.50.2546.最后点击“确定”，启动虚拟机，进行用户登录，查看ip[root@hrbu31 ~]# ifconfig7.修改IP地址（改：ONBOOT
2020-07-09 17:48:58
711
原创 VMware新建CentOS-6.5-x86_64-minimal.iso系统虚拟机步骤
VMware新建虚拟机步骤网易镜像:http://mirrors.163.com/centos/6/isos/1.点击“创建新的虚拟机”2.对于初学者可以选择“典型”，然后点击“下一步”3.选择“稍后安装系统”，点击“下一步”4.安装Linux系统对应的CentOS版本5.虚拟机命名和定位磁盘位置6.根据自己所需设定磁盘容量，然后点击“下一步”7.然后点击“编辑虚拟机设置”，进行相应设置8.选择CD/DVD,进行挂载镜像文件，点击确定即可（注意：有些电脑虚拟机设备里面有打印机硬
2020-07-09 10:06:23
630
原创 安装VMWare虚拟机教程
安装时用管理员权限，安装路径不要有中文，空格，安装路径可以自己选择VMWare虚拟机安装包资源百度网盘下载：链接：https://pan.baidu.com/s/1YD2W9G9NLZr6CNCYpIEhHQ提取码：ovp41.右键安装包，点击“以管理员身份运行”，然后点击“下一步”2.点击“我接受许可协议中的条款”，然后点击“下一步”3.选择自定义安装位置，选择你要安装的位置，不建议安装到c盘，可以选择性勾选“增强型键盘驱动程序”，然后点击“下一步”4.建议不勾选“启动时检查产品更新”，
2020-07-05 22:20:33
413
原创 scala初学者入门练习题2
1.统计三个班级成绩情况，每个班有5名同学，求出每个班级的平均分和所有班级的平均分[学生的成绩从键盘输入]import scala.collection.mutable.ArrayBufferimport scala.io.StdInobject HelloScala { def main(args: Array[String]): Unit = { val arr1 = new ArrayBuffer[Int]() val arr2 = new ArrayBuffer[Int](
2020-07-02 18:14:30
1872
原创 scala初学者入门练习题1
1、在Scala REPL(read->evaluateion->print->loop)中，计算3的平方根,然后再对该值求平方。现在，这个结果与3相差多少？2、Scala语言的sdk是什么?scala-2.11.12.msisdk是编译,调试scala的工具包3、Scala环境变量配置及其作用。配置系统变量(scala的安装目录)SCALA_HOME=D:\software\scala在path变量里添加%SCALA_HOME%\bin作用：可以在任意目录下，都可以
2020-07-02 14:34:34
540
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人