Hive 操作

(一)表操作 Hive 和 Mysql 的表操作语句类似,如果熟悉 Mysql,学习Hive 的表操作就非常容易了,下面对 Hive 的表操作进行深入讲解。 (1)先来创建一个表名为student1的内部表 hive> CREATE TABLE IF NOT EXISTS stude...

2019-05-08 22:57:25

阅读数 45

评论数 0

hadoop分布式集群搭建(3节点)

一、克隆虚拟机,准备三台linux系统 1、安装一台虚拟机后,关机,右键->管理->克隆,点击“下一步”, 选择“虚拟机的当前状态”,点击下一步, 选择“创建完整克隆”,点击“下一步”,可以修改虚拟机的名称及位置 2、修改克隆的虚拟机的网络设置 1)登...

2019-02-13 21:51:53

阅读数 113

评论数 0

hadoop集群搭建中遇到的问题及解决方法

1、zookeeper启动报错,JMX enabled by default Using config: /home/hadoop/app/zookeeper/bin/…/conf/zoo.cfg Error contacting service. It is probably not runni...

2019-02-13 21:17:33

阅读数 247

评论数 0

HIVE shell 操作

1、hive --help 启动hive:hive --service cli .hiverc文件:启动hive前执行,文件在/hive/bin目录下,没有自己创建。 Set hive.cli.print.current.db=true; Set hive.cli.print.head...

2019-01-04 12:40:37

阅读数 147

评论数 0

互联网金融风控模型大全

一、市场调研 目前市面主流的风控模型 1、互联网金融前10名排行榜(数据截止日期2017-09-12) 互联网金融公司排名分别是蚂蚁金服、陆金所、京东金融、苏宁金融、百度金融、腾讯理财通、宜信、钱大掌柜、万达金融和网易理财。 1.1 蚂蚁金服 1.1.1 大数据技术 对接第三方征信公司芝麻信用分,...

2019-07-02 17:33:18

阅读数 33

评论数 0

Linux 命令总结

1、修改群组 sudo chown -hR hadoop:hadoop spark210 修改spark210文件夹及子文件的用户及用户组为hadoop 2、删除文件夹 rm -rf spark210 3、kill 线程和kill -9的区别 Kill命令杀掉进程有可能进程在等待io等...

2019-05-30 21:02:25

阅读数 19

评论数 0

机器学习-异常检测算法(二):Local Outlier Factor

Local Outlier Factor(LOF)是基于密度的经典算法(Breuning et.al. 2000), 文章发表于 SIGMOD 2000, 到目前已经有 3000+ 的引用。在 LOF 之前的异常检测算法大多是基于统计方法的,或者是借用了一些聚类算法用于异常点的识别(比如 ,DBS...

2019-05-30 11:12:38

阅读数 29

评论数 0

spark学习笔记(二)----运行模式、spark-submit

spark运行模式 1、application program组成 Job:包含多个Task 组成的并行计算,跟Spark action对应 Stage:Job 的调度单位,对应于TaskSet Taskset:一组关联的、相互之间没有shuffle 依赖关系的任务组成的任务集 Task:被送到某...

2019-05-21 23:34:37

阅读数 31

评论数 0

spark学习笔记(一)

一、spark是什么 扩展了mapreduce的计算模型,高效的支持多种计算模型。 Spark Core 实现了Spark 的基本功能,包含任务调度、内存管理、错误恢复、与存储系统交互等模块。 Spark SQL 是Spark 用来操作结构化数据的程序包。使用hive sql,支持多种数据格式。...

2019-05-21 22:59:10

阅读数 29

评论数 0

idea 开发环境问题总结

1、提示符号不存在,包不存在等 解决方法:换成了低版本的idea运行可以 2、Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/common/langs/StringUtils 解决方法:重新导入了...

2019-05-17 12:29:23

阅读数 64

评论数 0

maven配置及仓库

国内仓库镜像 <mirror> <id>alimaven</id> <name>aliyun maven</name> &lt...

2019-05-17 12:21:25

阅读数 46

评论数 0

maven 镜像问题

1、创建maven新项目时报错 [ERROR] Plugin org.apache.maven.plugins:maven-archetype-plugin:RELEASE or one of its dependencies could not be resolved: Failed to re...

2019-05-13 19:01:36

阅读数 17

评论数 0

Vmware 创建虚拟机

2019-05-03 10:23:45

阅读数 11

评论数 0

Java 实践经验

1、整形强转字符串型 报异常 2、初始化块 静态初始化块:使用static定义,当类装载到系统时执行一次。如果在静态初始化块中初始化变量,则只能初始化类变量,即static修饰的数据成员。 非静态初始化块:在每个对象生成时都会执行一次,可以初始化类的实例变量。非静态初始化块会在构造函数执行时,且在...

2019-04-27 18:53:25

阅读数 10

评论数 0

Java抽象

1、抽象类有abstract修饰,抽象方法也用abstract修饰,抽象方法不能有方法体 2、抽象类不能实例化,无法使用new关键字来调用抽象类的构造函数创建实例 3、抽象方法必须在抽象类中,抽象类的实例化要实现抽象方法,如果没有实现抽象方法则还是抽象类 接口:1、接口是特殊的抽象类,只有抽象方法...

2019-04-27 18:52:39

阅读数 4

评论数 0

JAVA中的static、final、static final

1、Static Static关键字修饰成员变量、方法、及代码块static{}、内部类 Static关键字修饰的变量及方法具有如下特性: 1)随着类的加载而加载 2)优先于对象存在 3)被所有对象所共享 4)可以直接被类名调用 注意:1)静态方法只能访问静态成员 2)静态方法中不可以使用this...

2019-04-27 18:51:11

阅读数 7

评论数 0

转 scala快速学习

/** scala是一门多范式编程语言,集成了面向对象编程和函数式编程等多种特性。 scala运行在虚拟机上,并兼容现有的Java程序。 Scala源代码被编译成java字节码,所以运行在JVM上,并可以调用现有的Java类库。 */ /** 第一个Scala程序 Sca...

2019-03-21 14:38:02

阅读数 17

评论数 0

Flume日志收集系统

flume基础知识 1、hdfs数据接入方式:hdfs shell命令、hdfs api、MR等各种分布式计算方式、sqoop–传统数据库与hadoop同步、数据管道方式flume、其他(FTP:hdfs-over-ftp) 2、Flume是什么 Cloudera提供的高可用、高可靠的,分布式海量...

2019-03-18 13:15:07

阅读数 35

评论数 0

spark源码编译

Apache版本,jdk1.8,spark2.1.0,hadoop2.6.0,scala2.11.8,maven3.6.0 在编译spark之前,jdk,scala,hadoop,maven都要安装完成,此处省略这些安装 1、git clone代码 git clone https://github...

2019-03-13 22:38:05

阅读数 4

评论数 0

git clone报错SSL connect error

先执行git config --global http.sslversion tlsv1,测试不可以; 然后又执行git config --global http.sslVerify false (设置跳过SSL证书验证),测试不可以。 最后,执行yum update -y nss curl l...

2019-03-13 22:23:28

阅读数 38

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭