- 博客(88)
- 收藏
- 关注
RSS订阅转载 从hbase到hive，以及sqoop转到mysql解析
https://blog.csdn.net/qq_33689414/article/details/80328665 hive关联hbase的配置文件hive和hbase同步https://cwiki.apache.org/confluence/display/Hivehttps://cwiki.apache.org/confluence/display/Hive/HBase...
2019-04-17 17:42:00
401
转载 hive和hbase的区别
（一）相同点1、HBase 和 Hive 都是架构在 Hadoop 之上，用 HDFS 做底层的数据存储，用 MapReduce 做数据计算（二）不同点1、Hive 是建立在 Hadoop 之上为了降低 MapReduce 编程复杂度的 ETL 工具。HBase 是为了弥补 Hadoop 对实时操作的缺陷2、Hive 表是纯逻辑表，因为 Hive 的本身并不...
2019-04-17 14:49:00
372
转载 hbase使用MapReduce操作4（实现将 HDFS 中的数据写入到 HBase 表中）
实现将 HDFS 中的数据写入到 HBase 表中Runner类 1 package com.yjsj.hbase_mr2; 2 3 import com.yjsj.hbase_mr2.ReadFruitFromHDFSMapper; 4 import com.yjsj.hbase_mr2.WriteFruitMRFromTxtReducer; 5 impo...
2019-04-05 10:41:00
345
转载 hbase使用MapReduce操作3（实现将 fruit 表中的一部分数据，通过 MR 迁入到 fruit_mr 表中）...
Runner类实现将 fruit 表中的一部分数据，通过 MR 迁入到 fruit_mr 表中。package com.yjsj.hbase_mr;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hado...
2019-04-05 10:38:00
198
转载 hbase使用MapReduce操作2（微博表实现）
package com.yjsj.weibo;import java.io.IOException;import java.util.ArrayList;import java.util.Iterator;import java.util.List;import org.apache.hadoop.conf.Configuration;import o...
2019-04-05 10:36:00
149
转载 java代码中存在的Big Endian 和 Little Endian
Big Endian 和 Little Endian 详解Java中的Big(Little)-endian问题的一种解决方法主机序和网络序 很重要很重要几种ip存放形式Big-Endian和Little-Endian转换第二个链接内容即，介绍解决问题转载于:ht...
2019-04-05 09:39:00
475
转载 通过hbase实现日志的转存(MR AnalyserLogDataRunner和AnalyserLogDataMapper）
操作代码（提前启动集群（start-all.sh）、zookeeper(zkServer.sh start)、启动历史任务服务器（mr-jobhistory-daemon.sh start historyserver）、hbase(start-hbase.sh start)）然后在hbase中创建表create 'eventlog','log';AnalyserLogD...
2019-04-04 16:13:00
177
转载 hbase使用MapReduce操作1（基本增删改查）
操作代码import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.util.Bytes;import java.io.*;...
2019-04-04 16:12:00
292
转载 配置好Nginx后，通过flume收集日志到hdfs（记得生成本地log时，不要生成一个文件，）...
生成本地log最好生成多个文件放在一个文件夹里，特别多的时候一个小时一个文件配置好Nginx后，通过flume收集日志到hdfs可参考flume的文件用flume的案例二执行的注意点avro和exec联合用法https://blog.csdn.net/HG_Harvey/article/details/78358304exec实...
2019-04-04 11:39:00
180
转载 Linux下配置Nginx（在root的/etc/rc.local里配置开机启动功能http://tengine.taobao.org/）...
上面是下载的包下载地址 http://tengine.taobao.org/download_cn.htmlnginx官网http://nginx.org/下一步下一步其中remote为重要属性以前配置apache在配置ganglia的时候查看状态配置apache自动删除，删除干净...
2019-04-03 20:46:00
452
转载 大数据项目中js中代码和java中代码（解决Tomcat打印日志中文乱码）
Idea2018中集成Tomcat9导致OutPut乱码找到tomcat的安装目录，打开logging.properties文件，增加一行代码，覆盖默认设置，将日志编码格式修改为GBK。java.util.logging.ConsoleHandler.encoding = GBKjs代码(function() { var Cook...
2019-04-03 16:01:00
277
转载 java中时间
格式转化SimpleDateFormatpackage day1211.common;import java.sql.Date;import java.sql.Timestamp;import java.text.SimpleDateFormat;public class DateFormat { public Date format(String date) throws...
2019-04-02 10:58:00
63
转载 java socket
package day1214;import java.io.IOException;import java.io.PrintWriter;import java.net.Socket;import java.util.Scanner;public class Client { private Socket socket=null; public Client(){ ...
2019-04-02 10:56:00
67
转载 设计模式
饿汉和饱汉模式https://blog.csdn.net/sai739295732/article/details/62411016https://blog.csdn.net/qq_27093465/article/details/50978916适配器模式https://blog.csdn.net/msdengxw/article/details/83991214...
2019-04-02 10:47:00
119
转载 java复习小知识（基础不算，有反射，递归）
顺序选择循环，三种1、至于循环和递归循环效率更高，但是递归在处理文件递归的时候更为常见快捷在java中实现传多参2、public static void main（String[] args）即数组就是传多参在scala中用的*符号def fun4(elements :Int*)={}3、1多态（polymorphism）的定义 多态是面向对象...
2019-04-02 10:39:00
125
转载 实现同步七钟，以及继承时父子类
https://www.cnblogs.com/pangting/p/7050608.htmlhttps://blog.csdn.net/haorenwanglu/article/details/78544302继承之间1、构造函数不能继承，只是被调用而已。2、如果父类没有无参构造函数，创建子类时，编译不能通过。3、如果显示的调用父类方法，在子类构造函数中，必须第一行...
2019-04-01 16:49:00
85
转载 在spark中启动standalone集群模式cluster问题
spark-submit --master spark://master:7077 --deploy-mode cluster --driver-cores 2 --driver-memory 100M --class org.apache.spark.examples.SparkPi /home/hadoop/hadoop_home/spark/examples/jars/spark-...
2019-03-30 16:38:00
266
转载 spark配置文件和执行部分代码
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER-Dspark.deploy.zookeeper.url=zk1,zk2,zk3-Dspark.deploy.zookeeper.dir=/spark"1.在 master01 节点上修改 slaves...
2019-03-30 15:22:00
188
转载 scala中Nil用法
http://www.runoob.com/scala/scala-lists.html即Nil是空List双冒号是追加进入package com.yjsj.sparkobject scala_test { def main(args: Array[String]): Unit = { val site = "Runoob" :: ("Goog...
2019-03-29 10:34:00
3198
转载 scala字符串前加s使用$
https://my.oschina.net/u/2000675/blog/1592140字符串中的变量替换，Scala中基础的字符串插值就是在字符串前加字幕‘s’，然后在字符串中放入变量，每个变量都应以‘$’开头。字符串前加字母‘s’时，其实是在创建一个处理字符串字面量package demoobject Demo12 { def main(args...
2019-03-29 10:24:00
1342
转载 SPARK_sql加载,hive以及jdbc使用
sql加载格式或者下面这种直接json加载或者下面这种spark的text加载以及rdd的加载上述记得配置文件加入.mastrt("local")或者spark://master:7077dataset的生成下面是dataframe下面是dataset...
2019-03-29 00:08:00
217
转载 spring事务以及springweb
什么是事务、事务特性、事务隔离级别、spring事务传播特性https://www.cnblogs.com/zhangqian1031/p/6542037.htmlSpring AOP 中@Pointcut的用法https://www.cnblogs.com/liaojie970/p/7883687.html事务不生效参考...
2019-03-28 15:29:00
72
转载 spring aop
pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocatio...
2019-03-28 15:19:00
84
转载 spring Mybatis集成
pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocatio...
2019-03-28 15:15:00
100
转载 springDao的jdbctemplate
pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocatio...
2019-03-28 15:06:00
112
转载 spark介绍4（sparksql）ODBC（Windows）gc
（ODBC是open database connection开源数据连接）在Windows控制面板的管理工具里面GC（Garbage Collection)：JAVA/.NET中的垃圾回收器logical 合乎逻辑的 optimized 优化的 intelligent智能的...
2019-03-28 12:42:00
280
转载 ssm集合的配置
web.xml<!DOCTYPE web-app PUBLIC "-//Sun Microsystems, Inc.//DTD Web Application 2.3//EN" "http://java.sun.com/dtd/web-app_2_3.dtd" ><web-app> <display-name>Archetype Created ...
2019-03-28 10:09:00
69
转载 scala文件流操作，生成sparkpv，uv作业文件
package com.bjsxt.scalaspark.core.examples.pvAnduvimport java.io.Fileimport java.text.SimpleDateFormatimport java.util.{Date, Random}import java.io.FileOutputStreamimport java.io.OutputStreamWr...
2019-03-28 09:40:00
146
转载 java数据库操作
DataSource.class文件package day1216zuoye.common;import java.sql.*;public class DataSource { protected String driver="com.mysql.jdbc.Driver"; protected String url="jdbc:mysql://localhost:330...
2019-03-28 09:30:00
97
转载 java文件流操作
package common;import java.io.*;import java.math.BigDecimal;import java.util.ArrayList;import java.util.List;import entity.Commodity;public class CommodityFile { public List<Commodity> r...
2019-03-28 09:28:00
104
转载 mybatis所需pom文件内容以及配置文件
官方网站http://www.mybatis.org/mybatis-3/zh/index.htmlpom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/...
2019-03-28 09:13:00
904
转载 个人写spark小测试
写脚本生成类似文件java 代码封装类package day0327;import java.util.UUID;public class data { private String ip; private String address; private String date; private long timestamp;// priva...
2019-03-27 21:38:00
212
转载 spark介绍2
上述结果是map 1filter 1map 2filter 2map 3filter 3map 4filter 4即说明是并行，且互不...
2019-03-27 09:07:00
84
转载 RDD介绍与执行
repartition增加或减少分区。会产生shuffle。（多个分区分到一个分区不会产生shuffle）coalescecoalesce常用来减少分区，第二个参数是减少分区的过程中是否产生shuffle。true为产生shuffle，false不产生shuffle。默认是fa...
2019-03-25 20:52:00
118
转载 spark（oom内存溢出异常（out of memory））介绍1
建立如图maven工程maven的pom文件内容参考别的随笔参考pom文件内容同时记得添加scalaoom内存溢出异常（out of memory）...
2019-03-25 19:39:00
301
转载 spark安装配置（scala不是必须的，基于java虚拟机，因此scala可以不配，但是开发需要可以配）...
下载http://spark.apache.org/downloads.html下载2.3.1https://blog.csdn.net/qq_15349687/article/details/82748074（齐全）配置文件https://www.cnblogs.com/purstar/p/6293605.htmlhttps://w...
2019-03-25 19:15:00
780
转载 sqpark编译时maven的pom文件内容（org.apachetype.maven.apachetypes:maven.archetypequickstat）...
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.or...
2019-03-25 14:05:00
188
转载 zookeeper介绍
zookeeper介绍连接https://blog.csdn.net/apriaaaa/article/details/79697466https://blog.csdn.net/duke370503/article/details/52623192面试题连接https://www.cnblogs.com/lanqiu5ge/p/9405601.html#_lab...
2019-03-23 10:39:00
102
转载 flume介绍
https://www.cnblogs.com/zhangyinhua/p/7803486.html一、Flume简介 flume 作为cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。 但随着 FLume 功能的扩展，Flum...
2019-03-23 09:30:00
95
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人