- 博客(21)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 java.lang.IllegalStateException: begin() called when transaction is OPEN!
在flume文件夹下的 lib目录下jar包冲突 scala-library 版本问题导致jar包冲突,将2.10.5版本重命名,不要删掉,以免下次使用找不到
2018-04-13 15:13:24
2729
原创 sparkstreaming写入hbase,mysql
spark streaming的开发流程1.构建StreamingContext，这个类型封装了SparkContext 2.从数据源处加载流数据，获取DStream，它封装了rdd 3.调用DStream的各种api方法完成流处理过程 4.启动流计算我们一一个小需求来做例子进行展示写入操作 数据库id要设置为自增长,不然运行时会报 **id not have default va...
2018-04-13 08:22:38
2636
2
原创 Scala操作hbase 最详细的代码解析
import java.io.IOExceptionimport org.apache.hadoop.hbase.{HBaseConfiguration, HColumnDescriptor, HTableDescriptor, TableName}import org.apache.hadoop.hbase.client._import org.apache.hadoop.hbase.u...
2018-03-31 10:26:18
9131
3
原创 MapReduce运行机制
MapReduce 的运行流程 整个流程可以分为 split，map，shuffle，reduce，output 五个阶段1 split在 split 阶段会把需要处理的数据划分为不同的切片；把个切片交给不同 map 程序进行处理；切片后数据会被解析为 kv 对输入到 map 进行处理。2 map在 map 阶段可以对输入的 kv 对进行处理后再以 kv 对的形式输出...
2018-03-10 14:59:16
1081
原创 用MapReduce将sql数据写入Hbase
sql: 在sql的数据库中包含两种元素：即模式（比较强的表结构）和元组（数据记录） nosql: 在nosql里面一般更强调元组而弱化模式，有些nosql中没有模式，有些nosql有比较弱的模式，比方说有表而没有明确的字段，或者有表有更为广义上的字段组hbase是nosql的一种，它的设计和使用都是反模式的。它里面不是完全没有模式，它的模式分为三层 1.namespace 类似于mysq...
2018-03-10 14:44:00
774
原创 利用MapReduce将文件内容写入Hbase表
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bi...
2018-03-09 20:23:48
4423
2
原创 sql50道题及答案详解
创建表语句create table Student(sid varchar(10),sname varchar(10),sage datetime,ssex nvarchar(10));insert into Student values('01' , '赵雷' , '1990-01-01' , '男');insert into Student values('02' , '钱电' ,...
2018-03-07 21:09:59
45335
25
原创 Hive自定义函数
hive自定义函数，这里我们举一个简单的小例子来进行学习。 下面是在eclipse中自定义的方法 TimeFormatUDF方法目的是为了，把log日志中时间格式为[29/April/2016:17:38:20 +0800] 改为yyyy-MM-dd HH:mm:ss。//自定义函数需要继承UDF类，还需要添加 hive-exec 的依赖public class TimeFormatU...
2018-03-05 19:12:35
799
原创 Hadoop MapReduce心得之初识
## MapReduce是什么 ##MapReduce 是一种分布式编程模型，用来解决海量数据计算的问题。程序员使用它可以更关注业务逻辑的实现，而不需要花费大量精力在因分布式上运行而带来的问题。MapReduce 采用分治法的思想，把一个大的任务切分为很多小的任同时执行（Map 阶段），汇总所有的执行结果（Reduce 阶段）。用户以 kv 对的形式把数据提交给 map，ma...
2018-02-26 21:36:56
277
原创 shell脚本自动 进行配置免密登录,安装java环境,安装tomcat
脚本测试成功 直接复制,修改成自己的文件即可运行#! /bin/bash#声明一个方法,不需要指定参数#这个方法的作用自动发送master的公钥到指定主机auto_ssh_copy_id(){#可以使用$1,$2 获取方法调用的时候传递的参数#使用expect -c的命令,完成自动输入(yes和密码)功能#依赖expect的软件,需要检查电脑是否安装这个软件which expect
2018-01-12 20:54:36
536
原创 Shell实现自动上传解压jdk,tomcat配置java环境
#! /bin/bash# 解压 所在目录下的 压缩包 文件一般安装在/opt下 名字根据自己的命名习惯tar -xvf apache-tomcat-7.0.82.tar.gz # 解压 所在目录下的 压缩包tar -xvf jdk-8u151-linux-x64.tar.gz#配置环境变量echo "JAVA_HOME=/opt/SoftWare/jdk1.8.0_151" >>
2018-01-12 20:45:06
350
转载 @ResponseBody,@RequestBody使用
转载: 作者：tenlee 链接：https://www.jianshu.com/p/7097fea8ce3f 來源：简书@ResponseBody用法作用: 该注解用于将Controller的方法返回的对象，根据HTTP Request Header的Accept的内容,通过适当的HttpMessageConverter转换为指定格式后，写入到Response对象的body数据区。
2018-01-02 09:51:43
486
转载 Mybatis Generator最完整配置详解
作者：王思明 出处：http://www.cnblogs.com/maanshancss/<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE generatorConfiguration PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN""http://myba
2017-12-27 17:15:53
197
转载 RESTful API 设计指南
网络应用程序，分为前端和后端两个部分。当前的发展趋势，就是前端设备层出不穷（手机、平板、桌面电脑、其他专用设备……）。因此，必须有一种统一的机制，方便不同的前端设备与后端进行通信。这导致API构架的流行，甚至出现”API First”的设计思想。RESTful API是目前比较成熟的一套互联网应用程序的API设计理论。我以前写过一篇《理解RESTful架构》，探讨如何理解这个概念。今天，我将介绍RE
2017-12-25 14:52:00
241
原创 generatorConfig.xml详解
<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE generatorConfiguration PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN" "http://mybatis.org/dtd/mybatis-generator-config_1_0.dtd
2017-12-19 21:35:13
3455
原创 spring-mybatis实现简单模糊查询
这里写代码片1.建立maven项目 引入项目所需要的依赖 ,以下简单列举两个不全部展示 <!-- https://mvnrepository.com/artifact/org.mybatis/mybatis --> <dependency> <groupId>org.mybatis</group...
2017-12-19 19:49:15
5859
原创 Filter（过滤器/拦截器）
Filter 可以分别在请求处理前和处理后执行相应的操作生命周期：随着服务器的启动创建，随着服务器的关闭销毁 构造函数 –> init –> doFilter –> … –> destroy chain.doFilter(request, response); 上边代码：拦截请求 下边代码：拦截响应 需要在 web.
2017-12-18 09:21:53
353
原创 Spring CommonsMultipartResolver 上传文件
可以在controller(spring mvc) 或者 action (struts mvc) 中直接使用CommonsMultipartResolver ...Controller...{ //创建一个通用的多部分解析器. CommonsMultipartResolver commonsMultipartResolver = new CommonsMultipartRes
2017-12-16 14:44:32
754
原创 Spring-mvc开发步骤
引入依赖： web 项目相关： servlet，jstl，spring-mvc上传图片：fileUpload数据库操作：mysql，spring-jdbc，druid测试相关：junit，spring-test创建 spring-web.xml spring-service.xml spring-dao.xml 三个配置文件配置 web.xml 集成 spring-mvc 增加 s...
2017-12-16 14:34:36
415
1
原创 @RequestParam注解解析
在SpringMVC后台控制层获取参数的方式主要有两种，一种是request.getParameter(“name”)，另外一种是用注解@RequestParam直接获取。这里主要讲这个注解一、基本使用，获取提交的参数 后端代码： Java代码 收藏代码@RequestMapping(path = { "/list" }, method = RequestMethod.GET)...
2017-12-16 14:27:22
3066
转载 Druid 介绍及配置
Druid 介绍及配置1. Druid是什么？Druid是Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。2. 在哪里下载druid正式版本下载：maven中央仓库: http://central.maven.org/maven2/com/alibaba/druid/ 3. 怎么获取Druid的源码Druid是一个开源项目，源码托管在g
2017-12-16 14:15:18
356
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人