- 博客(23)
- 收藏
- 关注
转载 hadoop和spark读取GBK编码乱码
转自:http://www.cnblogs.com/teagnes/p/6112019.html首先来看一下为什么会出现这个问题, 下面是一个最简单的spark的wordcount程序,sc.textFile(filePath)方法从文本文件创建RDD,传入文件路径filePath,查看textFile方法, 可以看到,实际上调用了TextInputformat类来解析文本文件,熟悉had
2017-07-27 09:58:17
2178
转载 spring与mybatis三种整合方法
1、采用MapperScannerConfigurer,它将会查找类路径下的映射器并自动将它们创建成MapperFactoryBean。spring-mybatis.xml:xml version="1.0" encoding="UTF-8"?>beans xmlns="http://www.springframework.org/schema/beans" xmlns:
2017-03-21 11:54:36
245
转载 spring,mybatis事务管理配置与@Transactional注解使用
概述事务管理对于企业应用来说是至关重要的,即使出现异常情况,它也可以保证数据的一致性。spring Framework对事务管理提供了一致的抽象,其特点如下:为不同的事务API提供一致的编程模型,比如JTA(Java Transaction API), JDBC, Hibernate, JPA(Java Persistence API和JDO(Java Data Objects)支
2017-03-14 09:35:53
258
原创 elasticsearch(一) 基本知识
1.请求类型增/改 put删 delete查 get/post因为有些不支持get带请求体的场景,所以可以用post做查询。用post做查询请求注意连接最后要带有_search,否则将成为存储数据请求2.重要概念 ES 关系数据库_index 索引---------------库_type类型--------------
2017-03-02 15:44:45
393
转载 elasticsearch查询原理
1.本文阐述了elasticsearch的查询原理和为什么不能使用深度分页http://lxwei.github.io/posts/%E4%BD%BF%E7%94%A8scroll%E5%AE%9E%E7%8E%B0Elasticsearch%E6%95%B0%E6%8D%AE%E9%81%8D%E5%8E%86%E5%92%8C%E6%B7%B1%E5%BA%A6%E5%88%86%E9%A
2017-03-02 15:05:42
624
原创 修复dubbo注册中心警告bug
1.dubbo注册中心服务提供者界面显示警告,点击提示不同服务名注册了相同服务,这是界面显示逻辑bug,源码文件位置:/dubbo-admin/src/main/webapp/WEB-INF/templates/governance/screen/providers/index.vm部分代码如下:#set($providerApplication = "")#foreach($pro
2017-03-01 16:34:04
4986
2
转载 springboot整合mybaitis
转自:https://segmentfault.com/a/1190000004275305?_ea=556953个人喜欢第二种xml方式,更加直接,和传统使用方式类似一、使用mybatis-spring-boot-starter1、添加依赖dependency> groupId>org.mybatis.spring.bootgroupId> artif
2017-02-22 18:52:20
378
原创 基于MapReduce,使用bulkload方式像hbase导入数据
1.依赖,注意hbase和hadoop版本,hbase0.96以前的版本不适用 org.apache.hbase hbase-server 1.2.1 org.apache.hadoop hadoop-common 2.7.2 provided org.apache.hadoop hadoop-mapreduce-client-core 2.7.2 provid
2017-02-15 18:48:54
494
原创 spark 读取avro文件
1.引入依赖 com.databricks spark-avro_2.10 2.0.12.当读取的avro文件SparkConf conf = new SparkConf();conf.setAppName("SparkReadAvroTest");JavaSparkContext sc = new JavaSparkContext(conf);
2017-02-14 09:22:53
2976
原创 apache beam使用spark runner
1.引入依赖<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mave
2017-01-16 12:15:22
2108
原创 开源软件
1.分布式任务调度平台XXL-JOBXXL-JOB是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。特性1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;2、动态:支持动态修改任务状态、暂停/恢复任务,以及终止运行中任务,即时生效;3、调度HA:“调度中心”基于集群...
2016-10-09 09:37:26
124
原创 Java发送https请求
1.证书制作参考:http://394938226.iteye.com/admin/blogs/23264592.示例代码package com.irt.test.invoke;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.InputStream;import ...
2016-09-30 17:32:00
138
原创 ssl双钥的keystore和pem格式证书制作
背景:因为在ssl证书使用时,java中常用的是keystore。而其他环境经常会用到pem格式的 操作:(linux环境下) 服务端: 1.生成keystore,注意CN的值必须是要发布服务的域名,不能是ip keytool -genkey -alias server -dname "CN=www.test.com" -keyalg RSA -k...
2016-09-23 14:55:28
1052
原创 2016年国内镜像汇总
一、站点版(一)、企业站1.搜狐:http://mirrors.sohu.com/2.网易:http://mirrors.163.com/3.阿里云:http://mirrors.aliyun.com/4.腾讯:http://android-mirror.bugly.qq.com:8080/(仅针对APP开发的软件,限流,不推荐)(二)、教育站1.上海交通大学:http://ftp.sjtu....
2016-09-07 16:31:19
305
原创 logback输出mybaits的sql语句日志
1.在mybatis的config配置文件中配置<settings> <setting name="logPrefix" value="mybatis.sql."/> </settings>2.在logback的日志文件中配置<logger name="mybatis.sql" level="DEBU
2016-08-29 09:48:21
1207
原创 mybatis的foreach标签用法
foreach元素的属性主要有 item,index,collection,open,separator,close。 item表示集合中每一个元素进行迭代时的别名, index指 定一个名字,用于表示在迭代过程中,每次迭代到的位置, open表示该语句以什么开始, separator表示在每次进行迭代之间以什么符号作为分隔 符, close表示以什么结束。在使用fo...
2016-08-29 09:42:32
294
原创 springMVC+mybatis+ehcache详细配置
一、 Mybatis+Ehcache配置 为了提高MyBatis的性能,有时候我们需要加入缓存支持,目前用的比较多的缓存莫过于ehcache缓存了,ehcache性能强大,而且位各种应用都提供了解决方案,在此我们主要是做查询缓存,提高查询的效率. 整合MyBatis和ehcache需要的jar包如下:ehcache-core-2.4.4.jarmybat...
2016-08-24 17:55:21
94
原创 线性代数的意义
一篇是《理解矩阵,矩阵背后的现实意义》http://phddreamer.blog.163.com/blog/static/18993409620120239449185/另一篇是《线性代数的几何意义》。
2016-08-23 13:38:59
425
原创 logback环境配置
1.引入slf4j-api.jar、logback-core.jar、logback-classic.jar2.提供logback-test.xml或是logback.xml3.在每个需要执行记录的类里,调用 org.slf4j.LoggerFactory 类的 getLogger()方法获取一个 Logger 实例,以当前类名或类本身作为参数。 <?xml ...
2016-08-15 09:31:05
124
原创 华为的Carbondata
华为独立开发并开源的Carbondata通过Apache基金会的投票,成为 Apache Incubator(孵化器)项目!Carbondata的目标是创建一种新的Hadoop文件格式,只用一份数据,满足多样化的数据查询需求,包括顺序读,OLAP查询,随机读。CarbonData是一个为了更快的交互查询而生的新的Hadoop原生文件格式,用于大数据的快速分析和多维度查询hadoop本地数据...
2016-06-05 22:01:06
444
原创 Apache Arrow
Hadoop、Spark和Kafka已经对大数据领域产生了巨大的影响力,现在多了另一个Apache项目,有望进一步改变这个领域,那就是Apache Arrow。该项目提交代码的人士包括来自其他Apache大数据项目的开发人员,比如Calcite、Cassandra、Drill、Hadoop、HBase、Impala、Kudu、Parquet、Phoenix、Spark和Storm等项目。用...
2016-06-02 17:21:18
399
原创 ApacheHadoop2.x最简安装-----非高可用
1.官网下载hadoop.apache.org ------>左侧导航 Release2.同步机器时间、关闭各节点防火墙、修改hosts、namenode节点免密登录其他节点3.安装jdk4.配置配置文件:[color=red]core-site.xml 、hdfs-site.xml 、mapred-site.xml、yarn-site.xml、slaves、hadoop-e...
2016-05-30 12:12:32
132
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人