Postgresql批量入库方式

需要一次提交批量数据到数据库,采用如下写法在性能上能提高10倍左右! public synchronized static void sendToPG(List<StandardOutput> standList) { Sys...

2019-01-07 18:25:23

阅读数:8

评论数:0

Hbase配置与工具操作类

基础配置 hbase-env.sh export JAVA_HOME=/opt/nsfocus/espc/deps/java export HBASE_CLASSPATH=/opt/nsfocus/espc/conf/hadoop/ hbase-site.xml <conf...

2018-11-26 17:31:24

阅读数:39

评论数:0

Flume Agent应用配置

以下是Flume作为Agent实例,把应用数据发送到hdfs上,实现实时数据转发的功能。 example.conf: A single-node Flume configuration Name the components on this agent a1.sources = r1 a1.sin...

2018-11-26 15:54:07

阅读数:63

评论数:0

SparkStreaming序列化问题处理

经过个把月的摸爬滚打,项目终于在磕磕绊绊中成型了。先来个简介:用python 写了一堆的聚类算法,将线上数据进行聚类分析,找出离群点,建立模型。用这些模型用来检测用户的行为。 bug产生的过程 实时检测部分采用SparkStreaming实现,在使用过程中发现代码启动后一直会包序列化问...

2018-11-23 11:31:26

阅读数:96

评论数:0

SparkStreaming实时处理应用

import java.util.ArrayList; import java.util.HashMap; import java.util.HashSet; import java.util.Map; import java.util.Set; import org.apache.log4j....

2018-11-14 16:08:10

阅读数:53

评论数:0

flink流处理demo

flink流处理demo import org.apache.flink.api.common.functions.FoldFunction; import org.apache.flink.api.java.functions.KeySelector; import org.apache.fli...

2018-11-14 14:04:56

阅读数:243

评论数:0

matpltlib 库使用示例二

import pandas as pd import matplotlib.pyplot as plt unrate = pd.read_csv('unrate.csv') unrate['DATE'] = pd.to_datetime(unrate['DATE']) first_twelve ...

2018-10-17 11:31:48

阅读数:58

评论数:0

matpltlib 库使用示例一

import pandas as pd unrate = pd.read_csv('unrate.csv') #print unrate unrate['DATE'] = pd.to_datetime(unrate['DATE']) print(unrate.head(12)) ...

2018-10-17 11:27:32

阅读数:26

评论数:0

Spark Map/MapPair/reduceByKey 使用Demo

package com.; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import o...

2018-10-11 14:58:18

阅读数:49

评论数:0

pandas基本命令

import pandas food_info = pandas.read_csv("food_info.csv") col_names = food_info.columns.tolist() gram_columns =...

2018-09-18 10:08:18

阅读数:73

评论数:0

Numpy 函数使用技巧

import numpy as np data = np.genfromtxt("world_alcohol.txt",delimiter=",&...

2018-09-17 09:03:12

阅读数:40

评论数:0

今天开始学习机器学习啦

公司项目要用机器学习算法,很好的学习机器学习的机会。。。

2018-09-16 17:11:08

阅读数:30

评论数:0

Flink on Yarn

Flink on Yarn 运行原理 第一种:内存集中管理模式 1.启动flink集群 client端需要配置环境变量: YARN_CONF_DIR HADOOP_CONF_DIR HADOOP_HOME 2 ./bin/yaen-session.sh -n 2 ...

2018-07-13 11:27:54

阅读数:462

评论数:0

flink入门程序

本文列出了java版的flink基础程序和使用方法,读者可以通过本文开始flink的基础学习,后续会持续更新flink的相关知识 资源 flink-1.4.2-bin-hadoop26-scala_2.11.tgz 解压到linux主机, 执行:sh /root/flink-1.4.2/...

2018-07-12 16:37:50

阅读数:992

评论数:0

JAVA自定义Annotation

Annotation定义 import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import...

2018-07-09 17:39:29

阅读数:29

评论数:0

Hive索引使用

1创建索引: hive> create index 1index_leon on table ipslog(nstimestamp) > as 'org.apache.hadoop.hive.ql.index.compa...

2018-07-05 16:52:24

阅读数:105

评论数:0

Hive Metastore原理及配置

一、Hive存储概念 1、Hive用户接口: 命令行接口(CLI):以命令行的形式输入SQL语句进行数据数据操作 Web界面:通过Web方式进行访问。      Hive的远程服务方式:通过JDBC等方式进行访问。   2、元数据存储  将元数据存储在关系数据库中(MySql、...

2018-07-04 16:32:08

阅读数:486

评论数:0

JAVA反射基础与应用

import java.lang.reflect.Field; import java.lang.reflect.Method; /** * java反射 * 成员变量 Field * 方法 Method * */ public class T { public static ...

2018-07-03 19:06:21

阅读数:316

评论数:0

docker基础镜像操作实例

dockers基础操作 获取镜像: docker pull alpine 查看镜像: docker images 导出镜像: docker save -o hello.jar hello 载入镜像: docker load<hello.jar 运行一个镜像: ...

2018-07-02 10:21:12

阅读数:74

评论数:0

Hbase基础操作

hbase查询操作: 登陆: hbase shell 创建表: create_namespace 'ecitem' create "ecitem:ShoppingCart", {NAME =>'i',COMPRESSION =&a...

2018-06-29 10:55:42

阅读数:49

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭