- 博客(82)
- 收藏
- 关注
原创 CentOS 6.5编译Rsyslog 8.1903.0
再次执行configure,然后执行make成功。本篇博文从创建构建环境开始填坑/(ㄒoㄒ)/~~。通过上一篇博文可以解决的问题此处不再赘述。经过Google后发现CURLOPT_TCP_KEEPALIVE是在。再次编译omhttp成功!终于大功告成O(∩_∩)O哈哈~问题依旧o(╯□╰)o。需要编译安装libestr。个人很早之前的博文,迁移至此作为历史记录。
2025-02-06 22:55:58
167
原创 CentOS 7.3编译Rsyslog 8.1903.0
本篇是个人很早之前的一篇博文,迁移到这里作为备份记录。O(∩_∩)O哈哈~执行完成后再次make,生成的。
2025-02-06 22:43:50
186
原创 Shell条件变量替换
进行变量内容的替换,把与pattern匹配的部分替换为string的内容,/与//的区别与上同。与上一条规则类似,只是从v1的尾部与pattern相匹配,%与%%的区别与#与##一样。若变量v1未定义或者值为空时,在返回v2的值的同时将v2的值给v1。注意:上述条件变量替换中,除第2条外,其余均不影响变量本身的值。当变量v1未定义或者值为空时,返回v2的值,否则返回v1的值。若变量已赋值的话,其值才用v2的值替换,否则不进行任何替换。变量的字符个数(变量的字符个数,并不是变量个数)。
2025-02-05 18:44:54
166
原创 Shell $0
表示Shell脚本的文件名,但在有脚本调用的情形中,子脚本中的。至于为什么会这样本人需要继续学习以找到答案。可见,在父脚本中调用子脚本的不同,在子脚本中。我们通过下面的实例来看。测试过程中注意给脚本赋可执行权限。我们已经知道在Shell中。
2025-02-03 23:45:51
432
原创 Socket.IO负载均衡
由于Nginx的反向代理机制和Socket.IO的自动重连机制,上述架构还具备高可用的特性,即当某个节点宕机时,原先连接到该节点上的客户端会自动重连至其它节点上。为了负载均衡时连接保证始终连到一个节点上,使用Nginx的ip_hash实现session sticky,让客户端始终连接到集群内一台节点上。
2025-02-03 23:35:36
864
原创 spacemacs gnuplot
如果命令运行报错:cannot open load file no such file or directory, gnuplot。master分支是稳定不能修改的分支,不要做任何修改,否则会破坏更新机制。或者可以设置隐藏文件中的dotspacemacs-elpa-https为nil,这样启动emacs的时候就不需要。文件,否则Spacemacs将不能加载,因为这个文件阻止从适当的初始化文件加载。如果不使用镜像spacemacs安装会很慢,甚至卡死。目录,这样任何已经下载的可能引起错误的包会重新安装。
2025-02-02 19:02:13
404
原创 Spark On Yarn External Shuffle Service
本文基于spark-3.1.2-bin-without-hadoop.tgz版本,所以spark-3.1.2-yarn-shuffle.jar已经在节点的目录下。
2025-02-02 18:28:28
420
原创 Spark SQL读写Hive Table部署
个人博客地址:Spark SQL读写Hive Table部署 | 一张假钞的真实世界官网参考文档:Hive Tables。本文使用的组件版本如下:在所有Worker节点上部署Hive。主要是使用Hive下面的libs。在${SPARK_HOME}/conf/spark-env.sh中添加以下内容:第三步:编译Spark编译的目的是支持Hive。第四步:部署Spark On Yarn部署过程比较简单。部署过程遇到的问题参见另外一篇博文:Spark on YARN部署
2025-02-01 18:15:42
746
原创 Sqoop导入MySQL中含有回车换行符的数据
检查HDFS上的目标文件内容可以看出,回车换行符位置的数据被截断了,导致数据列错位。Sqoop提供了配置参数,在导入时丢弃掉数据的分隔符(\n,\r,\01)。
2025-02-01 17:57:02
378
原创 Sqoop源码修改:增加落地HDFS文件数与MapTask数量一致性检查
优化:当 MySQL 中记录数特别少时,如少于 4 条记录,则默认 Sqoop 的 MapTask 数量为 4 但其实际执行时因为原始记录数不够则实际执行的 MapTask 数量会跟实际的记录数一致,此时 split 数量跟落地 HDFS 的文件数量一致。org.apache.sqoop.Sqoop 是 Sqoop 的入口类,在此主要是解析参数及初始化工具类,然后通过 org.apache.hadoop.util.ToolRunner 类调用对应的工具完成操作。因为我们的数据仓库中都采用的是这种方式。
2025-01-30 19:16:44
861
原创 记录一次Sqoop从MySQL导入数据到Hive问题的排查经过
百度之后发现该异常信息跟DN的一个配置有关系,具体配置项是DN可以同时处理的文件上限。基于对Hadoop了解的深度、精力及对故障恢复的容忍程度的考虑,待定位根本原因再解决问题的方案不可控。默认的,Log4j输出的NameNode日志文件只保留最近的20个文件。因为NN的Log信息比较多,20个文件保存的日志不足1天,异常时间的日志已经被冲掉了。根据上面的Log信息,发现DN节点192-168-72-24上的MapTask有以下异常信息。根据上面的Log中的信息,从HDFS上查找对应的日志。
2025-01-30 19:03:06
1553
原创 Sqoop支持ORC文件格式
ORC文件格式是Hive 0.11.0版本引入的一种文件格式。ORC的引入是为了解决其他Hive文件格式的局限性。使用ORC文件格式提升Hive读取、写入及处理数据的性能。每个Task只输出一个文件,降低NameNode的负载。Hive数据类型支持,包括:datetime、decimal以及复杂数据类型(struct、list、map、union)。
2025-01-30 17:27:14
1240
原创 Tez 0.10.1安装
具体安装步骤参照官网安装手册即可。此处只对官网手册进行补充。从官网下载apache-tez-0.10.1-bin.tar.gz进行安装未成功,出现下面的异常。最终按照官网源代码编译的方式安装测试成功。
2025-01-29 13:11:28
345
原创 Ubuntu 16.04用APT安装MySQL
这个命令会安装MySQL服务器、客户端和公共文件。安装之后,MySQL服务器会自动启动。创建Hive元数据使用的数据库hive。
2025-01-28 17:23:42
963
原创 Ubuntu 20.04安装Protocol Buffers 2.5.0
【代码】Ubuntu 20.04安装Protocol Buffers 2.5.0。
2025-01-27 17:26:11
569
原创 qt.qpa.plugin: Could not find the Qt platform plugin “dxcb“ in ““
再次运行PySide应用,没有错误信息了。
2025-01-27 16:48:11
506
原创 安装Office自定义项,安装期间出错
错误原因是,卸载PowerDesigner后,调用Office插件的注册表没有清理干净。重新打开“WPS文字”时不再报错。
2025-01-26 19:01:09
304
原创 Windows10安装MySQL找不到MSVCR120.dll和MSVCP120.dll问题解决
msvcp120.dll、msvcr120.dll、vcomp120.dll属于VC++2013版中的动态链接库,如果丢失重新安装VC++2013即可。
2025-01-24 23:08:38
214
原创 VirtualBox can‘t enable the AMD-V extension
但是,还存在一个问题,每次重启电脑都需要按照以上步骤操作才行,未免太麻烦了。从上面的信息可以看出,VirtualBox模块和KVM模块都存在。”对问题的提示,检查我的问题,是因为同时安装了Virtualbox和KVM冲突导致的。执行完成后,重启后再试,问题解决。再次启动虚拟机,问题解决。
2025-01-22 23:49:36
591
原创 Windows7上构建并安装Hadoop 2.7.3
现在可以在自己的个人电脑上跟踪Hadoop源代码,并远程调试本机上的Hadoop。为了验证,我们可以在刚拷贝到HDFS上的文件上运行一个wordcount的示例任务。Hadoop开发者已经测试了OracleJDK1.7和1.6,并且已知可以正常工作的版本。如果安装一个多节点的集群,那么在每台节点上重复该步骤。Cygwin既不是必须的也不被支持的。运行下面的命令在本机启动NameNode和DataNode。在源代码根目录下运行下面的命令构建二进制发布代码。设置启动脚本及守护进程使用的环境变量。
2025-01-19 21:58:37
856
原创 Windows7搭建Hadoop-2.7.3源码阅读环境问题解决列表
网上也有类似错误是因为系统中装了cygwin,且cygwin在环境变量path中的位置在cmake之前。如果是这种情况则将cmake目录路径在环境变量path中的位置移到cygwin前面就解决了。,因为这个版本没有win64的版本,所以出错。卸载重新安装cmake-3.7.2-win64-x64版本,重新编译成功。说明文件中的“BuildingonWindows”中的内容;中的说明编译之前必须设置平台环境变量导致。安装VSSP1后重现编译。构建过程参照源代码目录下。文件,然后放置到目录。
2025-01-19 21:52:00
646
原创 调试Hadoop源代码
此时,如果执行jps查看java进程信息会有以下信息,是因为NameNode进程被挂起并处于监听状态,直到收到debug确认信息。配置完成后点击Debug按钮进入调试界面。代码中点击右键,在弹出的菜单中选择。,在弹出的对话框中双击。
2025-01-18 00:14:10
689
原创 搭建Hadoop源代码阅读环境
构建代码,使项目可以导入到Eclipse中。这是因为没有安装protoc的缘故。注意,avro-tools不要下载最新版,要下载1.7.7版本;右键单击eclipse中的hadoop-common项目,然后refresh。其中avsc文件是avro的模式文件,上面命令是要通过模式文件生成相应的。这个过程时间比较久,最好有内部的Nexus服务器,不然可能会不够顺畅。下载2.7.3源代码包到本地。的话会报一下错误,需要替换为JDK7后再执行。安装protoc2.5.0版本后重新执行成功。文件提供了很多信息。
2025-01-18 00:03:14
1065
原创 Windows7 Emacs设置及中文乱码解决
在Windows7下安装完Emacs后,默认情况下Emacs不会在一启动的时候就生成.emacs配置文件和.emacs.d目录。生成的.emacs目录还是在。Emacs在启动的时候会加载。这个配置文件,而该文件又加载。
2025-01-13 23:41:22
242
原创 Zookeeper单机操作
这里列出的步骤是运行单机模式ZooKeeper的。单机模式没有副本,因此,如果ZooKeeper进程失败,则服务就会宕掉。这对于大多数开发场景是没问题的,运行副本模式的ZooKeeper,请参见。安装单机模式的Zookeeper服务器是简单明了的。服务器包含在一个单独的JAR文件中,因此安装包含创建配置。可以从控制台(默认)并且/或者看到日志信息,这依赖log4j的配置。从这里,可以尝试几个简单的命令来体验简单的命令行接口。下载稳定的ZooKeeper发布版后,解压并切换到包的根目录。
2025-01-13 23:30:41
1245
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人