2017年04月_维维weiwei

原创 mysql集群配置

需要安装软件(所有的节点都必须安装，不需要安装mysql mysql-server,mysql-cluster有自带的)：mysql-cluster-gpl-7.3.7-linux-glibc2.5-x86_64.tar.gz管理节点：192.168.3.101 启动服务：ndb_mgmdSQL1节点：192.168.3.102 启动服务：mysqldSQL2节点：19

2017-04-25 13:13:50 327

原创 Sqoop数据导入导出

使用Import命令：（A)将mysql中的test数据库中的表person导入到hdfs bin/sqoop import --connect jdbc:mysql://192.168.7.112:3306/test --username root --password root --table person 不指定目的路径的话，会自动到导入到hd

2017-04-21 17:05:24 710

原创 Maven 仓库地址

http://maven.aliyun.com/nexus/content/groups/public/http://repo1.maven.org/maven2/

2017-04-21 13:41:33 139

原创 SparkStreaming之TCP流式处理(netcat)

public static void main(String[] args) { SparkConf conf = new SparkConf().setMaster("local[2]").setAppName("JavaSparkStreamingNC"); JavaStreamingContext jsc = new JavaStreamingContext(conf, Du

2017-04-20 18:20:59 830

原创 SparkStreaming之HDFS操作

public static void main(String[] args) { SparkConf conf = new SparkConf().setMaster("local[2]").setAppName("JavaSparkStreamingHDFS"); JavaSparkContext sc = new JavaSparkContext(conf); Java

2017-04-20 18:12:42 2782

原创 Spark操作ElasticSearch

def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("ScalaSparkElasticSearch") /** * 根据es官网的描述，集成需要设置： * es.index.auto.create--->true *

2017-04-20 09:37:16 4045

原创 SparkSQL之函数的操作

package com.uplooking.bigdata.sql.p3import com.uplooking.bigdata.utils.MySparkUtilimport org.apache.spark.SparkConfimport org.apache.spark.sql.{Column, SQLContext}/** * SparkSQL函数的操作 */obje

2017-04-20 09:33:57 1042

原创 SparkSQL之连接thirftserver

def main(args: Array[String]): Unit = { //1、注册驱动 classOf[org.apache.hive.jdbc.HiveDriver] //2、获得连接Connection val url = "jdbc:hive2://master:10000/default" val username = "root" val passwo

2017-04-20 09:29:31 417

原创 SparkSQL之保存数据

public static void main(String[] args) { SparkConf conf = new SparkConf(); conf.set("spark.app.name", "JavaSparkSQLSave"); conf.set("spark.master", "local"); JavaSparkContext sc = new

2017-04-20 09:26:44 3495

原创 Redis操作

Redis支持五种数据类型：第一种：string(字符串) 设置一个值：set命令 set name hadoop 在设置的时候可以指定当前key的过期时间 set key value EX seconds ---->指定key之后seconds的存活时间，seconds之后消失获取一个值：get命

2017-04-20 09:14:04 321

原创 Redis安装

Redis安装下载下载地址：http://download.redis.io/releases/ 这里下载的版本为redis-3.2.0 # wget http://download.redis.io/releases/redis-3.2.0.tar.gz # tar -zxvf redis-3.2.0.tar.gz -C ../ # c

2017-04-19 20:01:25 166

原创 Kafka的Topic操作

Kafka shell topic操作创建Topic hadoop kafka]# bin/kafka-topics.sh --create --topic hadoop --zookeeper master:2181,slave01:2181,slave02:2181 --partitions 1 --replication-factor

2017-04-19 19:57:43 6493

原创 Kafka安装配置

安装配置：解压： # tar -zxvf soft/kafka_2.10-0.10.0.1.tgz -C /usr/local # cd /usr/local # mv kafka_2.10-0.10.0.1 kafka # vim /etc/profile export KAFKA_HOME=/usr/local/kafka

2017-04-19 19:50:20 3537

原创 ElasticSearch核心概念

ElasticSearch核心概念 1. Cluster 代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。ES的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看ES集群，在逻辑上是个整体，你与任何一个节点的通信和与整个ES集群通信是等价的。主节点的职

2017-04-19 19:45:12 274

原创 ElasticSearch插件操作

ElasticSearch插件的操作 ES本身服务相对比较少，其功能的强大之处就体现在插件的丰富性上。有非常多的ES插件用于ES的管理，性能的完善，下面就给大家介绍几款常用的插件。 BigDesk Plugin BigDesk主要提供的是节点的实时状态监控，包括jvm的情况，linux的情况， elasticsearch的情况，推荐

2017-04-19 19:23:26 356

原创 ElasticSearch之CURL操作

CURL的操作 curl是利用URL语法在命令行方式下工作的开源文件传输工具，使用curl可以简单实现常见的get/post请求。简单的认为是可以在命令行下面访问url的一个工具。在centos的默认库里面是有curl工具的，如果没有请yum安装即可。 curl -X 指定http的请求方法有HEAD GET POST PUT DELETE -d

2017-04-19 19:03:22 13780

原创 ElasticSearch安装配置

# unzip soft/elasticsearch-2.3.0.zip # mv elasticsearch-2.3.0 /usr/local/elasticsearch# cd /usr/local/elasticsearch前台启动 # bin/elasticsearch 后台启动# bin/elasticsearch -d 访

2017-04-19 18:25:33 241

原创 Hive操作Hbase

启动hive，进入hive的终端 hive --auxpath /opt/hive/lib/hive-hbase-handler-2.1.0.jar, /opt/hive/lib/zookeeper-3.4.6.jar --hiveconf hbase.master=master:16010 --hiveconf hbase.zookeeper

2017-04-19 18:12:59 1006

原创 Hbase的安装

1.解压hbase-1.3.0-bin.tar.gz tar -zxvf hbase-1.3.0-bin.tar.gz –C /usr/local mv hbase-1.3.0-bin hbase2.将hbase添加到环境变量中 export HBASE_HOME=/usr/local/hbase export PATH=$PATH:$HB

2017-04-19 17:45:50 282

原创 Hive的操作

Hive复合数据类型：array，map，struct create table tblName ( id int commment "id", name string comment 'name', hobby array, score map, address stru

2017-04-19 17:38:13 2773

原创 Hive的安装

第一步：安装MySQL 1.查询linux中已有的mysql依赖包 # rpm -qa | grep mysql 2.删除linux中已有的mysql依赖包 # rpm -e --nodeps `rpm -qa | grep mysql` 3.安装mysql

2017-04-19 17:17:55 195

原创 Scala安装配置

1.下载Scala 下载地址：http://scala-lang.org/download/all.html 2.安装Scala tar -zxvf scala-2.10.5.tar -C /usr/local mv scala-2.10.5 scala3.配置环境变量 vim /etc/profile export SCALA_HOME=/

2017-04-19 17:04:57 208

原创 Spark之广播变量

private static void broadCastOps(JavaSparkContext sc) { //加载user表到rdd JavaRDD linesRDD = sc.parallelize(Arrays.asList("1,3,张三,河北", "2,1,李四,北京", "3,0,王五,天津", "4,1,赵六,广东")); JavaRDD sexLineR

2017-04-19 14:38:17 3013

原创 SparkSQL之JDBC

def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("ScalaSparkSQLJDBCOps").setMaster("local") conf.set("spark.sql.shuffle.partitions", "1") val sc = new SparkContext(c

2017-04-19 13:54:02 395

原创 SparkSQL之排序，保存数据

def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("ScalaSparkSQLJson").setMaster("local") conf.set("spark.sql.shuffle.partitions", "1") val sc = new SparkContext(conf

2017-04-19 13:42:42 3144

原创 SparkSQL之查询，过滤

def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("ScalaSparkDataFrameOps") val sc = new SparkContext(conf) val sqlContext = new SQLContext(sc)

2017-04-19 13:39:00 4008

原创 SparkSQL之读取数据

def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("ScalaSparkSQL") val sc = new SparkContext(conf) val sqlContext = new SQLContext(sc) //1.读取文件格

2017-04-19 13:35:50 1209

原创 SparkSQL之缓存表

val conf = new SparkConf().setMaster("local").setAppName("ScalaDataFrameOps") val sc = new SparkContext(conf) val sqlContext = new SQLContext(sc) val listRDD = sc.parallelize(List("zhangsan 13 1

2017-04-19 13:27:26 2846

原创 SparkSQL之创建DataFrame

///定义一个RDDJavaRDD listRDD = sc.parallelize(Arrays.asList( new Person("张三", 13, 168.8), new Person("李四", 14, 169.8), new Person("王五", 15, 175.8), new Person("赵六", 16, 1

2017-04-19 13:24:38 782

原创 Spark 之RDD API大全

package scalaimport org.apache.spark.{SparkConf, SparkContext}/** * Created by root on 17-4-11. */object SparkAPI extends App { val conf = new SparkConf().setAppName("SparkTransformationTes

2017-04-11 20:01:59 432

原创 Scala之AKKA

import akka.actor.{ActorSystem, Props} import com.typesafe.config.ConfigFactory import com.uplooking.bigdata.p5.akka.{Header, Shutdown, Start} /** * Created by thinkpad on 2017/3/31.

2017-04-09 15:46:14 327

原创 Scala之Actor

package com.uplooking.bigdata.p4.actor.second import scala.actors.Actor /** * Actor使用样例类进行消息的传递 */ object ActorSecondOps extends App { val mmActor = new MorningMeeting m

2017-04-09 15:43:05 250

原创 Scala之模式匹配

package com.uplooking.bigdata.p4 /** * scala中的模式匹配 * match case操作 */ object MatchCaseOps { def main(args: Array[String]): Unit = { // switchOps // ifSafeOps // ar

2017-04-09 15:41:07 306

原创 Scala之协变和逆变

package com.uplooking.bigdata.p4.generic /** * scala中的协变和逆变 * 协变： * val list:List[Object] = List[String]("", "") * 参数的泛型方向和等号左右整体的方向一致，称之为协变， * scala默认不支持协变，只有在定义泛型参数的时候

2017-04-09 15:37:43 277

原创 Scala之隐式转换

package com.uplooking.bigdata.p4.generic import java.io.{BufferedReader, File, FileReader} import scala.io.Source /** * Scala中的隐士转换 */ object ImplicitOps { implicit def do

2017-04-09 15:35:42 226

原创 Scala之闭包和柯里化

package com.uplooking.bigdata.p3 /** * Scala中关于函数的各种操作 */ object FunctionOps { def main(args: Array[String]): Unit = { // functionOps1 // functionOps2 // functi

2017-04-09 15:27:25 500

原创 Scala之特质Trait

package com.uplooking.bigdata.p3 /** * scala中的继承特性之特质Trait * 为了满足scala中的多继承/实现的需求，scala定义了另外一个类体结构Trait， * Trait特质类似于java中的接口，但是比接口内容丰富， * Trait既可以定义抽象方法，也可以定义非抽象的方法 * * 如

2017-04-09 15:22:25 361

原创 Scala之匿名内部类

package com.uplooking.bigdata.p3 /** * 匿名内部类 */ object ExtendsOps2 extends App { val p = new Person2("小美") p.sayHi //给Person2动态添加一个功能，吃饭,使用到了匿名内部类的方式进行操作 val pp

2017-04-09 15:17:58 2625

原创 Scala之继承

package com.uplooking.bigdata.p3 /** * scala的继承体系 * 同样继承需要使用关键字extends，只不过scala中的继承不叫继承，叫扩展 * 注意 * 和java中一样，如果一个类被final修饰，则不容许有继承，被final修饰的字段方法，也不能被子类所继承， * 同时被private修饰的属性

2017-04-09 15:13:58 206

原创 Scala之集合框架

package com.uplooking.bigdata.p3 /** * 集合框架 * 1、Scala中的集合体系主要包括：Iterable、Seq（IndexSeq）、Set（SortedSet）、 * Map（SortedMap）。其中Iterable是所有集合trait的根trait。实际上Seq、Set、和Map都是 * 子trait

2017-04-09 15:12:55 828

androidToggleButton

css4参考手册

android viewFlow

空空如也