自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

potter

少时诵诗书所所

原创 Java IP转Long Long转IP

package aaa; import java.util.ArrayList; import java.util.List; public class ip2Long { public static void main(String[] args) { // Str...

2018-11-22 10:24:20 1481 0

转载 java读取计算机CPU、内存等信息(Sigar使用)

Sigar是Hyperic-hq产品的基础包,是Hyperic HQ主要的数据收集组件。它用来从许多平台收集系统和处理信息. 这些平台包括:Linux, Windows, Solaris, AIX, HP-UX, FreeBSD and Mac OSX.Sigar有C,C#,Java和Perl A...

2018-11-01 15:46:24 416 0

原创 ElasticSearch学习(十三)在Java应用中实现集群管理

package Test; import org.elasticsearch.action.admin.cluster.health.ClusterHealthResponse; import org.elasticsearch.client.transport.TransportClient...

2018-08-03 18:55:25 286 0

原创 ElasticSearch学习(十二)在Java应用中实现组合查询、实现桶聚合

//组合查询 @Test public void test28() throws Exception { //指定ES集群 Settings settings = Settings.builder().put("cluster.name&...

2018-08-03 18:36:45 1113 0

原创 ElasticSearch学习(十一)在Java应用中实现聚合查询、query string查询

//聚合查询 @Test public void test20() throws Exception { //指定ES集群 Settings settings = Settings.builder().put("cluster.n...

2018-08-03 17:41:38 1491 0

原创 ElasticSearch学习(十)在Java应用中range查询、prefix查询、wildcard查询、fuzzy查询、type查询、id查询

//range查询(限定范围查询) @Test public void test14() throws Exception { //指定ES集群 Settings settings = Settings.builder().put(&quo...

2018-08-03 16:56:22 2505 0

原创 ElasticSearch学习(九)在Java应用中实现match查询和multimath查询,term查询和terms查询

//查询所有 //match_all @Test public void test9() throws Exception { //指定ES集群 Settings settings = Settings.builder().put(&quo...

2018-08-03 16:04:30 2067 0

原创 ElasticSearch学习(八)在Java应用中实现批量操作(mget&bulk)和查询删除、match_all(查询所有)

//mget批量查询 @Test public void test6() throws Exception { //指定ES集群 Settings settings = Settings.builder().put("cluster.n...

2018-08-03 15:42:59 2765 0

原创 ElasticSearch学习(七)在java应用中实现文档的添加、删除、更新

更新文档有直接更新和Upsert方式两种更新的方式: Upsert更新方式:如果文档存在,执行更新;如果文档不存在,执行添加。 package Test; import org.elasticsearch.action.delete.DeleteResponse; import org.e...

2018-08-03 15:06:44 1284 0

原创 ElasticSearch学习(六)使用ElasticSearch API实现CRUD

目录 2.5、版本控制 2.6、实现映射mapping 2.7、基本查询(Query查询) 2.7.1、数据准备 2.7.2、term查询和terms查询 2.7.3、控制查询返回的数量 2.7.4、返回版本号 2.7.5、match查询(分词器) 2.7.6、控制加载的字段 ...

2018-08-02 17:54:21 410 0

原创 ElasticSearch学习(五)elasticsearch基本操作

1.1、倒排索引 Elasticsearch使用一种称为倒排索引的结构,它适用于全文搜索,一个倒排索引由文档中所有不重复 的列表构成,对于其中每一个词,有一个包含它的文档列表。 示例: (1):假设文档集合包含五个文档。每个文档内容如图所示,在图中最左端一栏是每个文档对应的文档编号。我们的任...

2018-08-01 16:26:08 213 0

原创 ElasticSearch学习(四)kibana的安装

需要安装跟elasticsearch一样的版本号 下载地址: https://www.elastic.co/downloads/kibana 根据需要下载,如果是在linux下,就下载rpm或者linux版本的,我下载的是这个版本,就是linux版本的,直接在linux下解压之后就可以使...

2018-07-31 20:59:49 191 0

原创 ElasticSearch学习(三)安装Head插件

提前关闭防火墙 Head是elasticsearch的集群管理工具,可以用于数据的浏览查询 1、ElasticSearch-head是一款开源软件,被托管在github上面,所以如果我们要使用它,必须先安装git,通过git获取ElasticSearch-head 安装git: linux...

2018-07-31 20:55:45 142 0

原创 ElasticSearch学习(二)ElasticSearch安装

CentOS 6下安装Elasticsearch6.2.4 1、首先需要安装JDK环境 自行百度安装 2、下载elasticsearch 官网下载 https://www.elastic.co/downloads/past-releases/elasticsearch-6-2-4 下载之...

2018-07-31 20:38:52 146 0

原创 ElasticSearch学习(一)ElasticSearch概述

1.1、ElasticSearch是一个基于Lucene的搜索服务器。 它提供了一个分布式多用户能力的全文搜索引擎,基于RESTfulweb接口。ElasticSearch是用java开发的,病作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于计算中,能够达到实时搜索...

2018-07-31 20:06:53 365 0

原创 spark 数据写入到 hbase

1)spark把数据写入到hbase需要用到:PairRddFunctions的saveAsHadoopDataset方法,这里用到了 implicit conversion,需要我们引入 import org.apache.spark.SparkContext._ 2)spark写入hbas...

2018-07-26 18:31:35 1752 0

原创 SparkSQL读取Hive数据,SQL处理之后,存入Hive的分区表

pom文件: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"...

2018-07-24 16:00:38 4719 0

原创 十进制Ip转换为Ip

object Int2IP { def int2IP(ipInt: Long): String = { val sb: StringBuilder = new StringBuilder sb.append(ipInt & 0xFF).append(&...

2018-07-18 17:03:51 1057 0

原创 IDEA打包流程

程序运行,提前将表存储到对应的数据库中将程序打包,详细图解过程如下:将打包好的jar包上传到spark集群,使用命令运行 spark-submit --class day6.test1.day9.HotGoodsMT --master local[4] meituan.jar ...

2018-06-27 18:38:18 1071 0

原创 Mac下IDEA的使用之常用快捷键篇

在mac下idea的常用快捷键如下,下面的快捷键都亲自试用,并有一些和eclipse对比的说明alt+f7查找在哪里使用 相当于eclipse的ctrl+shift+G command+alt+f7 这个是查找选中的字符在工程中出现的地方,可以不是方法变量类等,这个和上面的有区别的 command...

2018-06-26 16:05:34 2648 0

原创 IDEA设置成竖列文件转换

2018-06-26 09:42:59 1151 0

原创 Sqoop从Mysql全量定时导入Hive

脚本内容:(sqoop.sh)#!/bin/sh sqoop import \ --connect jdbc:mysql://localhost:3306/mysql \ --username root \ --password 111111 \ --table help_topic \...

2018-06-25 14:00:09 1017 0

原创 spark将数据写入hbase以及从hbase读取数据

1、spark如何利用saveAsHadoopDataset和saveAsNewAPIHadoopDataset将RDD写入hbase2、spark从hbase中读取数据并转化为RDD操作方式为在eclipse本地运行spark连接到远程的hbase。java版本:1.7.0scala版本:2.1...

2018-06-23 16:50:26 2455 0

原创 大文件切分小文件

用户日志数量:5千万,用户数目5000需求:按照用户id将文件拆分成5000个小文件,文件已用户id作为文件名称scala代码如下:可以快速得出结果package cn.cslc.sdwd.log_AH import org.apache.hadoop.mapred.lib.Multip...

2018-06-23 16:46:38 999 0

原创 Sqoop学习(三)

导入:--connect 指定数据库链接url--username 指定数据库的用户名--password 指定数据库的密码--table 指定要导出数据的mysql数据库表-m 指定MapTask的个数--target-dir 指定导出数据在HDFS上的存储目录-...

2018-06-23 16:02:53 163 0

原创 用API连接HBase

1、pom文件:<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" ...

2018-06-13 20:54:23 339 0

原创 java二分法查找

public class Erfenchazhao { public static void main(String[] args) { int [] src = new int[]{1,3,2,1,4,4,5,555,2}; System.out.pri...

2018-06-06 17:52:42 113 0

原创 MySQL中MyISAM与InnoDB区别及选择

InnoDB:支持事务处理等不加锁读取支持外键支持行锁不支持FULLTEXT类型的索引不保存表的具体行数,扫描表来计算有多少行DELETE 表时,是一行一行的删除InnoDB 把数据和索引存放在表空间里面跨平台可直接拷贝使用InnoDB中必须包含AUTO_INCREMENT类型字段的索引表格很难被...

2018-06-01 21:55:12 111 0

原创 Hive学习(六)数据仓库的表设计

数据仓库的起源可以追溯到计算机与信息系统发展的初期。它是信息技术长期复杂演化的产物,并且直到今天这种演化仍然在继续进行着。而数据仓库容易让人糊涂的地方在于它是一种体系结构,而不是一种技术。这点使得许多技术人员和风投都感到沮丧,因为他们希望的是打好成包的专业技术,而非具有哲学意义的体系架构。 本系列...

2018-06-01 21:53:28 3227 2

原创 SparkSQL学习(三)SparkSQL读取Mysql的两种方式

第一种:package Mysql import java.util.Properties import org.apache.spark.sql.DataFrame import org.apache.spark.sql.hive.HiveContext import org.apache.s...

2018-05-27 21:40:17 6032 1

原创 面试2

我现在知道自己的实践能力比较欠缺,也希望自己能够在公司里得到更多的实践。

2018-05-25 17:17:43 128 0

原创 SparkStreaming项目(实时统计每个品类被点击的次数)

1、项目的流程:2、需求实时统计每个品类被点击的次数(用饼状图展示):3、分析设计项目新建一个Maven项目:pom文件:<?xml version="1.0" encoding="UTF-8"?> <project...

2018-05-23 22:39:55 7038 1

原创 Mysql学习(三)Spark(Scala)写入Mysql的两种方式

package total import org.apache.spark.sql.{DataFrame, Row, SQLContext, SparkSession} import org.apache.spark.{SparkConf, SparkContext} import java.ut...

2018-05-22 08:36:05 3111 0

原创 kafka学习(六)-API连接kafka操作(direct方式)

参考spark官方文档   kafkaAPI需要先启动kafka,创建一个主题:package sparkstreaming.lesson08 import kafka.serializer.StringDecoder import org.apache.spark.streaming.dstr...

2018-05-21 23:12:20 916 0

原创 Anaconda与Spark整合

1、软件下载Anaconda官网2、软件安装双击下一步,就可以了。3、测试使用4、Pycharm与anaconda关联将Python27里面的这两个文件放入C:\ProgramData\Anaconda2\Lib\site-packages 目录 如果这个里面没有Anaconda/python.e...

2018-05-21 21:37:44 1694 0

原创 Spark学习(一)SparkStreaming的官方文档

官网地址1、简介1.1 概述Spark Streaming 是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据,包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets,从数据源获取数据之后,可以...

2018-05-21 11:22:42 415 0

原创 Spark GraphX学习(一)图(GraphX )简介

1、图(GraphX)1.1、基本概念图是由顶点集合(vertex)及顶点间的关系集合(边edge)组成的一种数据结构。这里的图并非指代数中的图。图可以对事物以及事物之间的关系建模,图可以用来表示自然发生的连接数据,如:社交网络、互联网web页面常用的应用有:在地图应用中找到最短路径、基于与他人的...

2018-05-21 10:43:57 7710 0

原创 Spark学习(二)SparkStreaming的官方文档

1、SparkCore、SparkSQL和SparkStreaming的类似之处2、SparkStreaming的运行流程2.1 图解说明2.2 文字解说1、我们在集群中的其中一台机器上提交我们的Application Jar,然后就会产生一个Application,开启一个Driver,然后初始...

2018-05-20 22:55:47 257 0

原创 企业

项目背景:社会工程学原理《欺骗的艺术》编写方案要诀:任何政策要从国家政策方面入手。voip技术VOIP技术:数据:项目的工作流程:大数据软件开发流程图:功能架构图,技术架构图,逻辑架构图,网络拓扑图...

2018-05-20 19:27:07 158 0

原创 面试中必须要会的知识点

1、项目都分析过哪些业务模型参考各个需求文档:离线的报表(展示量,点击量,点击率,参与竞价数,竞价成功数,消费)终端设备分析(运营商,联网方式,操作系统,客户端)渠道分析媒体分析统一用户识别数据标签化用户上下文标签合并图计算再次合并标签把标签存入HBase,再次合并标签 --> 数据...

2018-05-19 23:00:56 184 0

提示
确定要删除当前文章?
取消 删除