自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(82)
  • 收藏
  • 关注

原创 CentOS 6.5编译Rsyslog 8.1903.0

再次执行configure,然后执行make成功。本篇博文从创建构建环境开始填坑/(ㄒoㄒ)/~~。通过上一篇博文可以解决的问题此处不再赘述。经过Google后发现CURLOPT_TCP_KEEPALIVE是在。再次编译omhttp成功!终于大功告成O(∩_∩)O哈哈~问题依旧o(╯□╰)o。需要编译安装libestr。个人很早之前的博文,迁移至此作为历史记录。

2025-02-06 22:55:58 167

原创 CentOS 7.3编译Rsyslog 8.1903.0

本篇是个人很早之前的一篇博文,迁移到这里作为备份记录。O(∩_∩)O哈哈~执行完成后再次make,生成的。

2025-02-06 22:43:50 186

原创 sed变量中特殊字符/处理方式

【代码】sed变量中特殊字符/处理方式。

2025-02-05 18:51:31 212

原创 Shell条件变量替换

进行变量内容的替换,把与pattern匹配的部分替换为string的内容,/与//的区别与上同。与上一条规则类似,只是从v1的尾部与pattern相匹配,%与%%的区别与#与##一样。若变量v1未定义或者值为空时,在返回v2的值的同时将v2的值给v1。注意:上述条件变量替换中,除第2条外,其余均不影响变量本身的值。当变量v1未定义或者值为空时,返回v2的值,否则返回v1的值。若变量已赋值的话,其值才用v2的值替换,否则不进行任何替换。变量的字符个数(变量的字符个数,并不是变量个数)。

2025-02-05 18:44:54 166

原创 Shell文件判断条件

个人博客地址:Shell文件判断条件 | 一张假钞的真实世界

2025-02-04 19:11:59 254

原创 Shell字符串截取技巧

【代码】Shell字符串截取技巧。

2025-02-04 19:06:25 176

原创 shell -c

【代码】shell -c。

2025-02-03 23:56:37 243

原创 Shell $0

表示Shell脚本的文件名,但在有脚本调用的情形中,子脚本中的。至于为什么会这样本人需要继续学习以找到答案。可见,在父脚本中调用子脚本的不同,在子脚本中。我们通过下面的实例来看。测试过程中注意给脚本赋可执行权限。我们已经知道在Shell中。

2025-02-03 23:45:51 432

原创 Socket.IO负载均衡

由于Nginx的反向代理机制和Socket.IO的自动重连机制,上述架构还具备高可用的特性,即当某个节点宕机时,原先连接到该节点上的客户端会自动重连至其它节点上。为了负载均衡时连接保证始终连到一个节点上,使用Nginx的ip_hash实现session sticky,让客户端始终连接到集群内一台节点上。

2025-02-03 23:35:36 864

原创 spacemacs gnuplot

如果命令运行报错:cannot open load file no such file or directory, gnuplot。master分支是稳定不能修改的分支,不要做任何修改,否则会破坏更新机制。或者可以设置隐藏文件中的dotspacemacs-elpa-https为nil,这样启动emacs的时候就不需要。文件,否则Spacemacs将不能加载,因为这个文件阻止从适当的初始化文件加载。如果不使用镜像spacemacs安装会很慢,甚至卡死。目录,这样任何已经下载的可能引起错误的包会重新安装。

2025-02-02 19:02:13 404

原创 Spark的基本概念

个人博客地址:Spark的基本概念 | 一张假钞的真实世界

2025-02-02 18:43:31 670

原创 Spark On Yarn External Shuffle Service

本文基于spark-3.1.2-bin-without-hadoop.tgz版本,所以spark-3.1.2-yarn-shuffle.jar已经在节点的目录下。

2025-02-02 18:28:28 420

原创 Spark SQL读写Hive Table部署

个人博客地址:Spark SQL读写Hive Table部署 | 一张假钞的真实世界官网参考文档:Hive Tables。本文使用的组件版本如下:在所有Worker节点上部署Hive。主要是使用Hive下面的libs。在${SPARK_HOME}/conf/spark-env.sh中添加以下内容:第三步:编译Spark编译的目的是支持Hive。第四步:部署Spark On Yarn部署过程比较简单。部署过程遇到的问题参见另外一篇博文:Spark on YARN部署

2025-02-01 18:15:42 746

原创 Spark on YARN部署

目前各大数据组件部署其实都比较简单,几乎接近开箱即用。此处只记录部署时遇到的问题。

2025-02-01 18:12:10 309

原创 Sqoop导入MySQL中含有回车换行符的数据

检查HDFS上的目标文件内容可以看出,回车换行符位置的数据被截断了,导致数据列错位。Sqoop提供了配置参数,在导入时丢弃掉数据的分隔符(\n,\r,\01)。

2025-02-01 17:57:02 378

原创 Sqoop源码修改:增加落地HDFS文件数与MapTask数量一致性检查

优化:当 MySQL 中记录数特别少时,如少于 4 条记录,则默认 Sqoop 的 MapTask 数量为 4 但其实际执行时因为原始记录数不够则实际执行的 MapTask 数量会跟实际的记录数一致,此时 split 数量跟落地 HDFS 的文件数量一致。org.apache.sqoop.Sqoop 是 Sqoop 的入口类,在此主要是解析参数及初始化工具类,然后通过 org.apache.hadoop.util.ToolRunner 类调用对应的工具完成操作。因为我们的数据仓库中都采用的是这种方式。

2025-01-30 19:16:44 861

原创 记录一次Sqoop从MySQL导入数据到Hive问题的排查经过

百度之后发现该异常信息跟DN的一个配置有关系,具体配置项是DN可以同时处理的文件上限。基于对Hadoop了解的深度、精力及对故障恢复的容忍程度的考虑,待定位根本原因再解决问题的方案不可控。默认的,Log4j输出的NameNode日志文件只保留最近的20个文件。因为NN的Log信息比较多,20个文件保存的日志不足1天,异常时间的日志已经被冲掉了。根据上面的Log信息,发现DN节点192-168-72-24上的MapTask有以下异常信息。根据上面的Log中的信息,从HDFS上查找对应的日志。

2025-01-30 19:03:06 1553

原创 Sqoop支持ORC文件格式

ORC文件格式是Hive 0.11.0版本引入的一种文件格式。ORC的引入是为了解决其他Hive文件格式的局限性。使用ORC文件格式提升Hive读取、写入及处理数据的性能。每个Task只输出一个文件,降低NameNode的负载。Hive数据类型支持,包括:datetime、decimal以及复杂数据类型(struct、list、map、union)。

2025-01-30 17:27:14 1240

原创 sudoers文件修改格式错误恢复

【代码】sudoers文件修改格式错误恢复。

2025-01-29 13:15:20 539

原创 Tez 0.10.1安装

具体安装步骤参照官网安装手册即可。此处只对官网手册进行补充。从官网下载apache-tez-0.10.1-bin.tar.gz进行安装未成功,出现下面的异常。最终按照官网源代码编译的方式安装测试成功。

2025-01-29 13:11:28 345

原创 ThinkPad E480安装Ubuntu 18.04无线网卡驱动

遗憾的是虽然下面的方法可以解决,但是内核升级后需要重新安装。

2025-01-29 13:04:11 399

原创 Ubuntu 16.04安装Lua

再次安装gcc成功。

2025-01-28 17:42:45 904

原创 Ubuntu 16.04用APT安装MySQL

这个命令会安装MySQL服务器、客户端和公共文件。安装之后,MySQL服务器会自动启动。创建Hive元数据使用的数据库hive。

2025-01-28 17:23:42 963

原创 Ubuntu 18.04安装Emacs 26.2问题解决

【代码】Ubuntu 18.04安装Emacs 26.2问题解决。

2025-01-28 16:42:47 538

原创 Ubuntu 20.04安装Protocol Buffers 2.5.0

【代码】Ubuntu 20.04安装Protocol Buffers 2.5.0。

2025-01-27 17:26:11 569

原创 Ubuntu 20.04 Realtek 8852无线网卡驱动

【代码】Ubuntu 20.04 Realtek 8852无线网卡驱动。

2025-01-27 17:04:56 821

原创 qt.qpa.plugin: Could not find the Qt platform plugin “dxcb“ in ““

再次运行PySide应用,没有错误信息了。

2025-01-27 16:48:11 506

原创 安装Office自定义项,安装期间出错

错误原因是,卸载PowerDesigner后,调用Office插件的注册表没有清理干净。重新打开“WPS文字”时不再报错。

2025-01-26 19:01:09 304

原创 Deepin开机SMBus Timeout

虽然不影响开机和使用,但开着还是不太爽。Deepin 23在开机启动时,出现以下错误信息。

2025-01-26 17:49:55 219

原创 Ubuntu终端CTRL+S被锁定后解锁快捷键

表示暂停终端的作用,停止终端输入。恢复,可以继续向终端输入。

2025-01-25 00:11:45 241

原创 vi忽略大小写搜索

个人博客地址:先set ignorecase,如下图:

2025-01-24 23:48:45 230

原创 Visual Studio Code修改terminal字体

打开设置,搜索配置项。

2025-01-24 23:30:55 1074

原创 Windows10安装MySQL找不到MSVCR120.dll和MSVCP120.dll问题解决

msvcp120.dll、msvcr120.dll、vcomp120.dll属于VC++2013版中的动态链接库,如果丢失重新安装VC++2013即可。

2025-01-24 23:08:38 214

原创 VirtualBox can‘t enable the AMD-V extension

但是,还存在一个问题,每次重启电脑都需要按照以上步骤操作才行,未免太麻烦了。从上面的信息可以看出,VirtualBox模块和KVM模块都存在。”对问题的提示,检查我的问题,是因为同时安装了Virtualbox和KVM冲突导致的。执行完成后,重启后再试,问题解决。再次启动虚拟机,问题解决。

2025-01-22 23:49:36 591

原创 Windows7上构建并安装Hadoop 2.7.3

现在可以在自己的个人电脑上跟踪Hadoop源代码,并远程调试本机上的Hadoop。为了验证,我们可以在刚拷贝到HDFS上的文件上运行一个wordcount的示例任务。Hadoop开发者已经测试了OracleJDK1.7和1.6,并且已知可以正常工作的版本。如果安装一个多节点的集群,那么在每台节点上重复该步骤。Cygwin既不是必须的也不被支持的。运行下面的命令在本机启动NameNode和DataNode。在源代码根目录下运行下面的命令构建二进制发布代码。设置启动脚本及守护进程使用的环境变量。

2025-01-19 21:58:37 856

原创 Windows7搭建Hadoop-2.7.3源码阅读环境问题解决列表

网上也有类似错误是因为系统中装了cygwin,且cygwin在环境变量path中的位置在cmake之前。如果是这种情况则将cmake目录路径在环境变量path中的位置移到cygwin前面就解决了。,因为这个版本没有win64的版本,所以出错。卸载重新安装cmake-3.7.2-win64-x64版本,重新编译成功。说明文件中的“BuildingonWindows”中的内容;中的说明编译之前必须设置平台环境变量导致。安装VSSP1后重现编译。构建过程参照源代码目录下。文件,然后放置到目录。

2025-01-19 21:52:00 646

原创 调试Hadoop源代码

此时,如果执行jps查看java进程信息会有以下信息,是因为NameNode进程被挂起并处于监听状态,直到收到debug确认信息。配置完成后点击Debug按钮进入调试界面。代码中点击右键,在弹出的菜单中选择。,在弹出的对话框中双击。

2025-01-18 00:14:10 689

原创 搭建Hadoop源代码阅读环境

构建代码,使项目可以导入到Eclipse中。这是因为没有安装protoc的缘故。注意,avro-tools不要下载最新版,要下载1.7.7版本;右键单击eclipse中的hadoop-common项目,然后refresh。其中avsc文件是avro的模式文件,上面命令是要通过模式文件生成相应的。这个过程时间比较久,最好有内部的Nexus服务器,不然可能会不够顺畅。下载2.7.3源代码包到本地。的话会报一下错误,需要替换为JDK7后再执行。安装protoc2.5.0版本后重新执行成功。文件提供了很多信息。

2025-01-18 00:03:14 1065

原创 Windows7 Emacs设置及中文乱码解决

在Windows7下安装完Emacs后,默认情况下Emacs不会在一启动的时候就生成.emacs配置文件和.emacs.d目录。生成的.emacs目录还是在。Emacs在启动的时候会加载。这个配置文件,而该文件又加载。

2025-01-13 23:41:22 242

原创 Zookeeper单机操作

这里列出的步骤是运行单机模式ZooKeeper的。单机模式没有副本,因此,如果ZooKeeper进程失败,则服务就会宕掉。这对于大多数开发场景是没问题的,运行副本模式的ZooKeeper,请参见。安装单机模式的Zookeeper服务器是简单明了的。服务器包含在一个单独的JAR文件中,因此安装包含创建配置。可以从控制台(默认)并且/或者看到日志信息,这依赖log4j的配置。从这里,可以尝试几个简单的命令来体验简单的命令行接口。下载稳定的ZooKeeper发布版后,解压并切换到包的根目录。

2025-01-13 23:30:41 1245

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除