淡若晨岚-CSDN博客

原创按下标取数据，汉字对应拼音

1、配置文件source_dir=E\\路径columns=9,12chinese2pinyin=9dst_dir=C:\\路径2、第三方pinyin工具import net.sourceforge.pinyin4j.PinyinHelper;import net.sourceforge.pinyin4j.format.HanyuPinyinCaseType;import n

2017-03-20 09:29:26 545

原创调用接口

1、ReportData=======import java.io.File;import java.io.IOException;import java.io.InputStream;import org.apache.http.client.ClientProtocolException;import org.json.JSONArray;import org.json.JSON

2017-03-20 09:20:44 393

原创读取excel文件按下标取字段

public class Demo { public static void main(String[] args) throws EncryptedDocumentException, InvalidFormatException, FileNotFoundException, IOException { method("E:\\XX\\XX\\XX.xlsx", new int

2017-03-20 09:07:06 809

原创读取文件夹下的数据

import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io

2017-03-20 09:03:37 412

原创 Hive安装部署

前期工作安装JDK安装hadoop安装MySQL安装Hive下载Hive安装包，解压安装Hive设置Hive环境变量编辑 /etc/profile 文件，在其中添加一下内容：export HIVE_HOME=/bigData/software/apache-hive-2.1.1-binexport PATH=$PATH:$HIVE_HOME/bin环境变量生效：source /etc

2017-03-13 17:19:22 423

原创 select数据库反射机制（注解）

package com.Test;import java.lang.annotation.Annotation;import java.lang.reflect.Field;import java.lang.reflect.InvocationTargetException;import java.lang.reflect.Method;import java.sql.ResultSe

2017-02-13 14:19:04 498

转载多线程——生产者与消费者

package com.Test;public class ProduceConsume { public static void main(String[] args) { SyncStack ss = new SyncStack();// 建造一个装馒头的框 Producer p = new Producer(ss);// 新建一个生产者，使之持有框 Consume c =

2017-02-13 14:11:40 269

原创调用百度推广接口获取数据

package com.Http;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import java.io.FileInputStream;import java.io.FileReader;import java.io.FileWriter;import java.

2017-01-10 17:13:18 3937

原创相同文件读取

package com.Http;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.FileReader;import

2017-01-10 17:10:54 276

原创读取多个EXCEL文件

多个EXCEL文件读取：import java.io.BufferedWriter;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;im

2017-01-10 17:05:43 1363

原创 json---xml

1、xml示例三年一班 xxxx 张三 12 xml只能有一个根标签 xml是一种记录数据的格式，使用这种结构化的开闭标签。标签可以自己定义。这是一个person的数据信息结构。如果是一堆person呢。一个集合张三 12 xml只能有一个根标签 xml是一种记录数据的格式

2016-11-18 18:18:29 352

原创 HttpHelper调用接口

1、HttpHelper package com.Http;import java.io.IOException;import java.io.InputStream;import java.nio.charset.Charset;import java.util.Map;import java.util.Map.Entry;import org.apache.http.Htt

2016-11-18 18:11:39 1675

原创 sdk-调用接口

1、baidu-api.properties文档serverUrl=https://api.baidu.comusername=xxpassword= xxtoken=xx#Please keep these values unless you know exactly about their meanings.connectTimeoutMills=11000readTimeou

2016-11-18 17:55:48 3363

原创 log4j里日志等级

log4j里日志等级日志记录器（Logger）的行为是分等级的。如下表所示：主要分为OFF、FATAL、ERROR、WARN、INFO、DEBUG、TRACE、ALL或者自定义的级别。Log4j建议只使用四个级别，优先级从高到低分别是ERROR、WARN、INFO、DEBUG。在配置文件里，可以设定日志输出到文件还是控制台，输出到什么级别。输出到文件的话，log4j还可以按天

2016-11-17 16:49:07 521

原创 Storm读取Mysql数据库不能加大bolt并行数写入hdfs解决方法

解决方法：建立一个中间表 spout发射数据给bolt,bolt进行数据清洗，然后插入到一张中间表里面，然后再写一个spout，这个spout不发射数据，每次next时去中间表查看，如果超过预计数据的条数，可以读过来批量插入到hdfs里，一直只有一个spout在写hdfs，或者不写spout，直接写个java程序，每分钟看一次数据库中间表，有数据就写入hdfs。同样，bolt每次被

2016-11-17 16:35:07 1730

原创 zookeeper client 超时解决方法

spout一次读取百万数据，顶不住，zookeeper以为spout死了，所以超时，之后改成几万条数据读取，spout没有问题，spout发射数据太快，太多了，导致tuple的等待队列太大，bolt处理不过来，zookeeper以为bolt死了，之后加大bolt的并行数，问题解决

2016-11-17 16:29:33 2473

原创 storm简单介绍

1、Spout：open：初始化操作nextTuple：消息接入，执行数据的发射ack：tuple成功处理后调用fail：tuple处理失败时调用declareOutputFieds：声明输出字段2、Bolt:prepare：worker启动是初始化execute：接受一个tuple并执行逻辑处理发射出去cleanup：关闭前调用declareOut

2016-11-17 16:26:55 380

原创 Linux找不到命令解决方法

1、Linux首先会找/etc/profile 这个配置文件里的PATH变量，遍历这个变量里配置的多个路径，查看命令是否存在。2、如果 /etc/profile 里的PATH找不到有这个命令（或者是sh 文件，或者是二进制可执行的文件），下一步会去家目录（也就是~ 下的目录）下的.bash_profile ，这个隐藏配置文件里去找PATH变量，遍历这个变量配置的多个路径，查看命令是否存在

2016-11-17 16:12:43 25246

原创 hadoop集群NameNode起不来解决方法

1、关掉hadoop集群2、进入主节点/home/hadoop/hadoop-2.6.0/dfs/name/current，删掉VERSION，从节点也是3、格式化NameNode : hadoop -NameNode -format4、重新启动集群即可

2016-11-17 16:10:30 3932 1

原创 Finderror

package com.demo;import java.io.BufferedWriter;import java.io.File;import java.io.FileWriter;import java.io.IOException;import java.sql.Connection;import java.sql.DriverManager;import java.sql

2016-11-17 15:37:50 603

原创 paoding--分词

import java.io.BufferedReader;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStreamReader;import java.io.StringReader;import java.util.ArrayList;import java.util.C

2016-11-17 15:35:38 366

原创调用IP接口

import java.io.BufferedInputStream;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import java.io.FileInputStream;import java.io.FileWriter;import java.io.IOExcep

2016-11-17 15:32:05 787

原创调用接口

String urlNameString = "http://int.dpool.sina.com.cn/iplookup/iplookup.php?ip=183.129.210.50"; URL realUrl = new URL(urlNameString); URLConnection connection = realUrl.openConnection();

2016-11-17 15:30:55 368 1

原创统计关键词

import java.util.regex.Matcher;import java.util.regex.Pattern;import org.apache.hadoop.hive.ql.exec.UDF;public class GroupByUrl extends UDF { public String evaluate(String url) { String result

2016-11-17 15:29:53 431

原创页面停留时间

import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoop.hive.ql.exec.UDF;public class rz extends UDF { private String uid = ""; pri

2016-11-17 15:28:20 847

原创时间转换UDF函数

import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoop.hive.ql.exec.UDF;public class zz extends UDF { public String evaluate(String cu

2016-11-17 15:27:48 817

原创 Wordcount

package com.testMr;import java.io.IOException;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;im

2016-11-17 15:24:07 275

原创 Inner join --案例

package com.testMr;import java.io.IOException;import java.util.ArrayList;import java.util.LinkedList;import java.util.List;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWrit

2016-11-17 15:18:38 476

原创 MR--案列2

参考案例1的测试数据:package com.testMr;import java.io.IOException;import java.util.ArrayList;import java.util.Iterator;import java.util.LinkedList;import java.util.List;import org.apache.hadoop.fs.Pa

2016-11-17 15:13:37 260

原创 MR--案例1

package com.testMr;import java.io.IOException;import java.util.ArrayList;import java.util.Iterator;import java.util.LinkedList;import java.util.List;import org.apache.hadoop.fs.Path;import or

2016-11-17 15:07:54 374

原创 Left join --案例2

参考xx 订单数据：package com.testMr;import java.io.IOException;import java.util.ArrayList;import java.util.LinkedList;import java.util.List;import org.apache.hadoop.fs.Path;import org.apache.hadoop

2016-11-17 15:04:46 405

原创 Left join --案例1

统计xx订单个数和价格总和：package com.testMr;import java.io.IOException;import java.util.ArrayList;import java.util.Iterator;import java.util.LinkedList;import java.util.List;import org.apache.hadoop.fs

2016-11-17 15:00:33 395

原创 Left join --测试数据

package com.testMr;import java.io.IOException;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.ArrayList;import java.util.Date;import java.util.Iterator;impor

2016-11-17 14:53:15 726

原创 Quartz 定时读取Mysql数据库和Mongodb数据库写入hdfs

1、quartz：package com.Demo;import static org.quartz.CronScheduleBuilder.cronSchedule;import static org.quartz.JobBuilder.newJob;import static org.quartz.TriggerBuilder.newTrigger;import java.io

2016-11-17 14:47:11 934

原创 java读取mongodb数据库

package com.Test;import org.bson.Document;import org.bson.types.ObjectId;import com.mongodb.BasicDBObject;import com.mongodb.MongoClient;import com.mongodb.MongoClientURI;import com.mongodb.cli

2016-11-17 14:41:48 906

原创 Storm读取Mysql数据库表写入Mysql数据库另一张表

1、spout：package com.TestStorm;import java.io.BufferedReader;import java.io.FileNotFoundException;import java.io.FileReader;import java.io.FileWriter;import java.io.IOException;import java.io.

2016-11-17 14:30:31 3988

原创 Storm读取Mysql数据库写入hdfs------针对数据量较少的数据

1、spout：package com.TestStorm;import java.io.BufferedReader;import java.io.FileNotFoundException;import java.io.FileReader;import java.io.FileWriter;import java.io.IOException;import java.io.

2016-11-17 14:23:29 3107

原创 java读取Mysql数据库写入hdfs

package com.Test;import java.io.ByteArrayInputStream;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import java.io.UnsupportedEncodingE

2016-11-17 14:19:01 3879

原创 java实时读取Mysql数据库

package com.Test;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;public class Mysql { public static v

2016-11-17 13:55:55 2850

空空如也

空空如也