kw-home

人生若只如初见

排序:
默认
按更新时间
按访问量

Hadoop2.7.3搭建单机、伪分布环境

1.下载jdk并安装去官网下就可以了,下完之后把文件移到/opt/Java下[plain] view plain copyguo@guo:~/下载$ mv ./hadoop-2.7.2-src.tar.gz /opt/Hadoop/  mv: 无法创建普通文件"/opt/Hado...

2017-12-05 10:45:16

阅读数:651

评论数:0

shell获取日期

1.通过shell获取当前8位日期,并赋给变量,并且使用变量作为文件名,建立文件夹代码如下:12ls_date=`date +%Y%m%d`mkdir ${ls_date}上面两句代码虽然简单但是在应用中比较实用获取日期注意事项:date +%Y%m%d 这个字符串是被英文状态下的ESC下面那个键...

2018-04-10 11:07:20

阅读数:46

评论数:0

IntelliJ IDEA 2017激活(Mac版本)

1. 下载JetbrainsCrack-2.6.2.jar链接:http://pan.baidu.com/s/1eRJkOcq 密码:a4ji12这个是我使用的IntelliJ IDEA 2017版本下载地址链接:http://pan.baidu.com/s/1kVHoZ5t 密码:weu...

2018-03-27 14:30:24

阅读数:88

评论数:0

spark的kafka的低阶API createDirectStream

大家都知道在spark1.3版本后,kafkautil里面提供了两个创建dstream的方法,一个是老版本中有的createStream方法,还有一个是后面新加的createDirectStream方法。关于这两个方法的优缺点,官方已经说的很详细(http://spark.apache.org/d...

2018-03-08 14:21:21

阅读数:123

评论数:0

Spark 核心 RDD 剖析

本文将通过描述 Spark RDD ——弹性分布式数据集(RDD,Resilient Distributed Datasets)的五大核心要素来描述 RDD,若希望更全面了解 RDD 的知识,请移步 RDD 论文:RDD:基于内存的集群计算容错抽象RDD是Spark的最基本抽象,是对分布式内存的抽...

2018-03-06 09:52:37

阅读数:162

评论数:0

Java实现“推荐注册,获得奖励”算法

应用场景:推荐新用户注册A会员推荐B注册,即赠送A会员100积分,B会员推荐C会员注册,赠送A会员50积分、B会员各100积分,依次类推,只要A发展的会员继续发展下面的会员,A都可以获增相应的积分。 package com.enn.test; import java.util.ArrayList...

2018-03-05 18:29:57

阅读数:340

评论数:0

Hive和关系型数据库的区别

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张表,并提供类sql语句的查询功能;Hive使用Hql作为查询接口,使用HDFS存储,使用mapreduce计算;Hive是非关系型数据库即NoSQL(Not Only SQL)。关系数据库,是建立在关系模型基础上的数据库...

2018-03-05 11:10:34

阅读数:206

评论数:0

解决Spark应用日志级别设置

最近在研究Spark的相关知识,本地搭建了一个开发环境Windows7+Eclipse+JDK1.7。一. 日志效率原因开发时,控制台输出一大堆日志信息,严重影响查看日志效率。从控制台输出日志我们可以看出,应用程序是默认加载Spark-core包下面的log4j-defaults.properti...

2018-03-01 14:07:16

阅读数:578

评论数:0

redis安装配置

REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。1、先到Redis官网(redis.io)下载redis安装包 2、解压并进入其目录  3、编译源程序。由于redis是C语言编写,因此需要编译。如果执行...

2018-02-28 16:09:45

阅读数:162

评论数:0

kafka+zookeeper安装配置

1、安装zookeeper步骤1:下载并解压zookeeper安装包tar -zxvf zookeeper-3.4.11.tar.gz 步骤2:配置环境变量 export ZOOK=/opt/hadoop/zookeeper-3.4.11 步骤3:配置文件 zoo.cfgcd conf/ 复制配置...

2018-02-26 14:55:30

阅读数:438

评论数:0

SSM框架(三)——Mybatis多表关联查询

本文介绍ssm框架中mybatis实现多表关联查询的问题。主要修改mapper.xml和Entity定义两个地方,mapper.xml中需要定义返回格式,而Entity里定义关联表类的相互引用等关系。 一、一对一关联  1.1、提出需求   根据班级id查询班级信息(带老师的...

2018-01-15 16:03:48

阅读数:1348

评论数:0

SSM框架(二)——Mybatis传多个参数

本文介绍三种方法: 1)用下标代替 DAO层的函数方法  Public User selectUser(String name,String area);对应的Mapper.xml   select * from user_user_t where user...

2018-01-15 15:54:21

阅读数:855

评论数:0

Eclipse部署Tomcat项目

本文实现Eclipse部署Tomcat项目。项目组给力git框架,由于第一次操作,踩了很多坑,以下做一些记录。 1.下载git项目。 1)常规方法: (1)File->import->Git->project from git 选择“Colne URI...

2018-01-11 11:31:40

阅读数:597

评论数:0

SpringBoot实战(二):数据库Mysql

一,建立spring-boot-sample-mysql工程 1、http://start.spring.io/      A、Artifact中输入spring-boot-sample-mysql      B、勾选Web下的web      C、勾选SQL下的JPA MYSQL ...

2018-01-09 18:24:01

阅读数:588

评论数:0

SpringBoot实战(一)Hello World

Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的配置。通过这种方式,Boot致力于在蓬勃发展的快速应用开发领域(rapid application ...

2018-01-09 18:13:08

阅读数:557

评论数:0

Spark源码解读之SparkContext初始化

SparkContext初始化是Driver应用程序提交执行的前提,这里以local模式来了解SparkContext的初始化过程。 本文以 val conf = new SparkConf().setAppName(“mytest”).setMaster(“local[2]”) val s...

2018-01-04 19:01:00

阅读数:684

评论数:0

Java API实现向Hive批量导入数据

Java程序中产生的数据,如果导入oracle或者mysql库,可以通过jdbc连接insert批量操作完成,但是当前版本的hive并不支持批量insert操作,因为需要先将结果数据写入hdfs文件,然后插入Hive表中。 package com.enn.idcard; import java....

2017-12-27 18:24:39

阅读数:1386

评论数:0

Hive官方文档-Hive Tutorial

Hive Tutorial Hive TutorialConcepts  What Is HiveWhat Hive Is NOTGetting StartedData UnitsType SystemBuilt In Operators and FunctionsLanguage Capab...

2017-12-22 11:24:56

阅读数:753

评论数:0

基于TCP协议的Socket通信实例(JAVA)

1、首先先来看下基于TCP协议Socket服务端和客户端的通信模型:   Socket通信步骤:(简单分为4步) 1.建立服务端ServerSocket和客户端Socket 2.打开连接到Socket的输出输入流 3.按照协议进行读写操作 4.关闭相对应的资源   2、相关联的...

2017-12-19 10:32:46

阅读数:1206

评论数:0

kafka官网示例说明--KafkaConsumer

Kafka client会消费kafka cluster中的记录。 它将透明地处理Kafka集群中的服务器故障,并透明地适应它在集群内迁移的数据分区。该客户机还与服务器交互,以允许用户组使用消费者组来负载平衡消费(如下所述)。 消费者维护TCP连接到必要的代理来获取数据。使用后未能关闭消费...

2017-12-18 18:17:52

阅读数:1363

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭