m0_45502588的博客

原创 【Aitachi】预测随机森林数据集-oasis_cross-sectional

随机森林数据集ID,M/F,Hand,Age,Educ,SES,MMSE,CDR,eTIV,nWBV,ASF,DelayOAS1_0001_MR1,F,R,74,2,3,29,0,1344,0.743,1.306,N/AOAS1_0002_MR1,F,R,55,4,1,29,0,1147,0.81,1.531,N/AOAS1_0003_MR1,F,R,73,4,3,27,0.5,1454,0.708,1.207,N/AOAS1_0004_MR1,M,R,28,,,,,1588,0.803,1.10

原创 【mysqld.sock文件查找不到问题】最直接版本！

【mysqld.sock文件查找不到问题】ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock'

原创 Kafka自定义分区和常用分区策略

KAFKA 自定义分区策略和常用分区策略详解

原创 JAVA写1个Flink的WordSum区别WordCounter

写1个Flink的WordSum区别WordCounter总是写Flink的wordcounter,总觉得少了点什么，现在我用flink写个wordSum，对同样字段的计数进行sum求和的计算。不啰嗦，上代码:如何插入一段漂亮的代码片去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.import org.apache.flink.api.common.functions.RichMapFunction;import org.apache.flink.api.java.t

原创 Java代码中Hbase的使用

hbase简介HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase...

原创 idea中的settings.xml配置

<?xml version="1.0" encoding="UTF-8"?>D://apache-maven-3.6.0-bin//localRestoryalimavencentralaliyun mavenhttp://maven.aliyun.com/nexus/content/repositories/central/ <!-- 中央仓库1 -...

原创 Flink解决简单程序Job execution failed报错

Flink解决简单程序Job execution failed报错不啰嗦，上代码：object StreamWC{ def main(args: Array[String]): Unit = { val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment v...

原创 关于HIVE百分数和小数，周日期的一些问题

– 取出每周日期范围concat(MIN(ord_dt), “~”, MAX(ord_dt)) AS dt,±-------------±---------------±---------------±-----------------±-+| employee.id | employee.name | employee.days | employee.salary |...

原创 关于hive时间戳转换的一些细节和外部表

1.from_unixtime(timestamp,‘yyyy-MM-dd’)将时间戳转换成日期，示例：SELECT FROM_UNIXTIME(1868000000,‘yyyy-MM-dd HH-mm-ss’);将1868000000转换成日期格式；2.unix_timestamp(‘2013-02-06’)将’2013-02-06’转换成时间戳；今天在写SQL时，在atable中发...

原创 Zookeeper配置全面教程

Zookeeper的全面教程及报错解决话不多说，上配置：1.卸载centos自带的openjdkrpm -qa |grep java 查询出自带的jdk rpm包rpm -e xxxxxxx --nodeps 卸载自带的jdk包 忽略依赖卸载2.安装oracle jdk（1.8）配置profile文件vim /etc/profileexport JAVA_HOME=/export...

原创 KETTLE不能连接hadoop

KETTLE不能连接hadoop今天做KETTLE测试发现kettle不能连接hadoop看了一下教程：https://www.jianshu.com/p/258fef7c7dbe发现要更新4个xml文件：文件目录：$hadoop_home:etc/hadoop1.hdfs-site.xml2.core-site.xml3.yarn-site.xml4.mapred-site....

原创 linux中spark启动进程命令以及顺序

linux中spark启动进程命令以及顺序1）首先启动hadoop① 在Master节点上进入hadoop安装目录下，执行sbin/start-dfs.sh② 在Slave1节点上进入hadoop安装目录下，执行sbin/start-yarn.sh③ 在Master节点上进入hadoop安装目录下，执行sbin/mr-jobhistory-daemon.sh start historyse...

原创 spark启动报错

今天在启动spark集群时遇到了一处错误：[root@bigdata01 spark]# bin/spark-shell --master spark://bigdata01:7070Setting default log level to “WARN”.To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use...

原创 如何将EXCL和文本文件导入mysql

原创 Hbase大坑不偿命啊！！！

今天启动Hbase然后报错！如下：[root@bigdata01 hbase-1.2.0-cdh5.14.0]# bin/start-hbase.shError: Could not find or load main class org.apache.hadoop.hbase.util.HBaseConfToolError: Could not find or load main cla...

原创 oracle中sys和system的区别

1、权限不同：SYS用户具有DBA权限，是Oracle数据库中权限最高的帐号。system用户则没有DBA权限。2、登录模式不同：SYS用户只能通过SYSDBA登录数据库，而system登录em时只能用normal模式登录。sys用户具有“SYSDBA”和“SYSOPER”权限，登陆em时也只能用这两个身份，不能用normal。3、数据字典不同：sys拥有数据字典(dictionary),或者...

原创 hadoop的一些重点

hadoop的一些重点hadoop分三个阶段:1.hdfs:负责海量数据的分布式存储,有三个对象:namenode,secondarynode,datanode什么是NameNode和DataNode？他们是如何协同工作的:一个HDFS集群包含一个NameNode和若干的DataNode（start-dfs命令就启动了NameNode和DataNode）NameNode:管理者，主要负...