知识储备
文章平均质量分 62
君者海
这个作者很懒,什么都没留下…
展开
-
数据预处理与特征工程
数据预处理与特征工程缺失值处理缺失值处理通常有如下的方法: 对于unknown值数量较少的变量,包括job和marital,删除这些变量是缺失值(unknown)的行; 如果预计该变量对于学习模型效果影响不大,可以对unknown值赋众数,这里认为变量都对学习模型有较大影响,不采取此法; 可以使用数据完整的行作为训练集,以此来预测缺失值,变量housing,loa...原创 2019-10-25 17:59:41 · 670 阅读 · 0 评论 -
在linux安装nodejs,配置好环境变量后,node -v出错: bash: /usr/local/node/bin/node: /lib/ld-linux.so.2: bad ELF inte
在linux安装nodejs,配置好环境变量后,node -v出错:bash: /usr/local/node/bin/node: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录按照提示的意思是解释器出了问题,度娘了一下,应该这样能解决:##切忌不要输入此命令,我自己给自己挖的坑,后面就能看到sudo yum install g...转载 2019-02-28 15:49:46 · 3544 阅读 · 1 评论 -
CentOS 7 安装 CDH 5.12.1
准备4台机器,内存,磁盘尽量给足node1(master) 192.168.231.128 内存16G,磁盘50Gnode2 192.168.231.129 内存3G,磁盘50Gnode3 192.168....转载 2018-10-18 15:05:27 · 954 阅读 · 0 评论 -
CHD 5.15 包版本详细
CDH 5.15.1 Packaging and TarballsComponent Package Version Tarball Release Notes Changes File Apache Avro avro-1.7.6+cdh5.15.1+140 Tarball Release notes Changes Apache Cr...翻译 2018-10-12 15:06:59 · 915 阅读 · 0 评论 -
hadoop本地测试链接idea问题
链接又出现bug需要修改源码的原创 2018-08-13 16:43:00 · 180 阅读 · 0 评论 -
mysql修改my.cnf文件后,编码格式改变后无法启动
inux下老版本的Mysql修改数据库编码的方法是修改my.cnfvi /etc/my.cnf在[client]下添加default-character-set=utf8在[mysqld]下添加default-character-set=utf8在新的版本中如果这样修改的话,会造成无法启动的错误,结果方法是在[mysqld]下把default-character-set=ut...原创 2018-07-19 19:17:07 · 4420 阅读 · 4 评论 -
centos 7 linux系统安装 mysql5.7.17(glibc版)
centos 7 linux系统安装 mysql5.7.17(glibc版)前言:经过一天半的折腾,终于把 mysql 5.7.17 版本安装上了 centos 7 系统上,把能参考的博客几乎都看了一遍,终于发现这些细节问题,然而翻了无数的文章,基本上都没有提到这些,所以小生尽量把这些细节写下来,一方面是供初学者们参考,另一方面也是对自己花这么长时间的摸索的一个总结,如有不足之处欢迎各路...转载 2018-07-18 20:16:46 · 246 阅读 · 0 评论 -
linux虚拟机centos7 搭建
1、搭建centos 7系统分区:选择手动分区,点击done挂载好如图同理添加交换分区swap分区给他 8096M 的空间,和跟分区开通网卡 centos7 的系统在用mini模式安装的时候,一定要打开网络结案eth33,否则不能联网查看ip地址命令是:ip addr 我感觉没有ifconfi和vim特别不舒服,就安装了下,需...原创 2018-07-18 18:07:12 · 176 阅读 · 0 评论 -
linux虚拟机centos7 搭建
1、搭建centos 7系统 centos7 的系统在用mini模式安装的时候,一定要打开网络结案eth33,否则不能联网 我感觉没有ifconfi和vim特别不舒服,就安装了下,需要的也可以自己安装; yum search ifconfig 找到版本号 yum install net-tools.x86_64 同样yum search vim 找到版本号 ...原创 2018-07-16 10:39:44 · 123 阅读 · 0 评论 -
kafka 集群搭建
一. 配置zookeeper环境kafka实现分布式需要zookeeper的分布式管理默认现在zookeeper的集群已经安装完毕了。通过启动zookeeper的客户端,查看下现在有点多少个节点如果没有安装过kafka的话。应该只有下面两个。也不排除你安装的其他的哈。其他的乱七八糟的东西就是kafka在zookeeper下面建的节点,你看人家hadoo都是规规矩矩的,就这个家伙,不单独建个文件夹。...原创 2018-05-24 18:23:56 · 212 阅读 · 0 评论 -
kafka来读取flume的数据
一、查看kafka topic ./kafka-topics.sh --list --zookeeper bigdata-test-3:2181, bigdata-test-2:2181, bigdata-test-1:2181, bigdata-test-4:2181, bigdata-test-5:2181./kafka-topics.sh --delete --zookeeper bi...原创 2018-05-24 20:38:08 · 2395 阅读 · 0 评论 -
大数据处理工具优劣分析
1、hadoop使用mapreduce的分布式处理工具2、没有使用mapreduce的分布式处理工具3、当不需要使用分布式集群时,而且处理的数据集比较小的时候,或者对计算的时间并不苛刻的时候还可以选择一些小型工具...原创 2018-05-11 10:52:24 · 553 阅读 · 0 评论