NBA首席形象大使坤坤

下载链接：https://www.cloudera.com/downloads/cdf/csa-trial.html点击后选择版本，然后点击download now，会有一个协议，勾选即可，然后就有三个文件列表，我这里是已经注册登录的状态，如果没有注册，会有一个下载前的信息收集，随便填写一些用途、岗位、公司等，就可以过。依次下载即可。如果json下载不了，复制内容粘贴到json文件。下载有点慢，我发布到某度网盘和CSDN了某度：链接：https://pan.baidu.com/s

今天在做kudu高可用的时候没有参考官网，直接按照常规方式（添加角色—>编辑属性—>启动）结果发现报错？然后参考了一下文档之后发现这玩意儿还有点玄学，做一下记录。1.添加两个master。kudu master有leader和slvae之分，所以必须是奇数（3或者5），添加之后不要启动不要启动不要启动！！！2.创建目录并赋权，注意对应到自己创建master的时候的目录mkdir -p /data1/kudu/master/knwd mkdir -p /data1/kudu/maste

今天在漏洞扫描的时候蹦出来一个zookeeper的漏洞问题，即使是非zookeeper的节点，或者是非集群内部节点，也可以通过nc扫描2181端口，获取极多的zk信息。关于漏洞的详细描述参考apache zookeeper官方概述：CVE-2018-8012: Apache ZooKeeper Quorum Peer mutual authentication漏洞演示：这是一个CDP集群，里面有三个物理节点，每个节点各自有一个zk实例，注意看IP。另开一台非集群节点的连接，使用echo conf

TAOS入门一、TAOS简介TDengine：是涛思数据面对高速增长的物联网大数据市场和技术挑战推出的创新性的大数据处理产品，它不依赖任何第三方软件，也不是优化或包装了一个开源的数据库或流式计算产品，而是在吸取众多传统关系型数据库、NoSQL数据库、流式计算引擎、消息队列等软件的优点之后自主开发的产品，在时序空间大数据处理上，有着自己独到的优势。TDengine的模块之一是时序数据库。但除此之外，为减少研发的复杂度、系统维护的难度，其还提供缓存、消息队列、订阅、流式计算等功能，为物联网、工业互联网大数

1.查看swap分区挂载路径(没卵用)swapon -s2.设置配置文件的swap配置echo “vm.swappiness = 0” > /etc/sysctl.conf3.设置内存中的swap状态。有时候配置文件为0，但仍然使用swap分区，可能原因就是内存没有配置echo “0” > /proc/sys/vm/swappiness4.生效配置sysctl -p5.将/etc/fstab文件中所有设置为swap的设备关闭swapoff -a前两台关闭结果：...

（一）查看内核：uname -a[root@cdh1 ~]# uname -aLinux cdh1.macro.com 3.10.0-1062.el7.x86_64 #1 SMP Wed Aug 7 18:08:02 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux（二）查看系统：cat /etc/redhat-release[root@cdh1 ~]# cat /etc/redhat-release CentOS Linux release 7.7.1908 (C

目录标题一、> /dev/null 2>&1 命令解析二、/dev/null 文件浅显理解三、标准输入、标准输出、标准错误输出四、输入重定向、输出重定向五、命令作用与应用场景如果想看命令意义，可以直接跳到第五部分一、> /dev/null 2>&1 命令解析我们在别人的脚本里面常常可以看见这样的代码：2>/dev/null或者是这样：0 */3 * * * /usr/local/apache2/apachectl restart >/dev

使用IDEA直接运行Hadoop项目，有两种方式，分别是本地式：本地安装Hadoop+IDEA；远程式：远程部署Hadoop，本地安装IDEA并连接， 本文介绍第二种。文章目录一、安装配置Hadoop(1)虚拟机伪分布式(2)云服务器分布式二、配置IDEA1、安装配置Maven2、新建Maven项目三、设置连接Hadoop1、Linux中操作2、IDEA中操作四、可能出现的问题一、安装配置Hadoop(1)虚拟机伪分布式见上才艺！CentOS7从0到1部署Apache Hadoop生态集群(2)云

第一种：配置问题这是别人的图片，据楼主排查解决是因为hosts配置问题？？？我想知道hosts没配置好，Hadoop是怎么撑到MR的…现象：各种无法运行、启动解决办法：1、修改日志级别export HADOOP_ROOT_LOGGER=DEBUG,console查看下详细信息，定位到具体问题解决第二种：服务器问题**现象：**运行到job时卡住不动**原因：**服务器配置低下，内存小或磁盘小**解决办法：**修改yarn.site.xml配置<!--每个磁盘的磁盘利用率百分比

笼统的来说，大数据的架构一共有五层。首先是数据源层即最原始的数据层。数据在这一层里，还只是杂草地里的野菜。如果要问这片地的具体信息，目前来讲有三个地方：一个地方是企业内部自有数据，例如淘宝、京东等电商平台的用户信息、订单信息、商品信息等；另一个地方是第三方数据，即专门做数据买卖的公司。现在国家对数据和个人隐私的重视，导致这类数据交易的公司和平台逐渐息声；还有一个地儿是互联网数据。这片土地上的宝藏就太多太多了，什么天气数据、公司信息、航班信息等等，五花八门，让人眼花缭乱。在数据源和数据存储之间

区别：1、ln创建硬链接；ln -s 创建软链接2、硬链接的两个文件指向同一个inode（inode：存放着文件的目录、权限、block块编号等信息）；软链接的目标文件指向源文件，目标文件内存储的是源文件的目录3、硬链接删除源文件或者目标文件，打开不受影响；软链接删除源文件后打开目标文件则报错硬链接无法跨区链接，也无法链接目录；软链接不仅可以跨区，还可以链接目录4、由于硬链接是指向同一inode，故节省存储空间；软链接是不同的inode，故没有节省存储空间的效果ln参数：-b ：删除，覆盖以