- 博客(215)
- 资源 (67)
- 收藏
- 关注
RSS订阅原创 PyCharm 配置 Apache HUE 开发环境
Apache HUE 是一个操作hadoop生态各组件及组件管理的数据的集大成工具，其底层的 web 框架是python Django。现分享下如何基于 Pycharm 来搭建 Apache HUE 的开发环境。需要注意的是，目前HUE只支持Linux环境安装编译，需要在Windows调试只能采用远程调试，或者在Linux的桌面环境下调试。首先，去github把hue源码拉下来，通过 mak...
2018-12-24 21:56:17
1993
原创 HUE4.3安装配置
HUE简介Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，用Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语...
2018-12-23 00:08:33
5797
3
原创 Thrift方式连接hiveServer2+Kerberos
最近在做一个大数据查询平台，后端引擎有部分用了hive，通过thrift的方式连接hiveServer2，由于集群加了kerberos，所以实现thrift连接hiveServer2的时候需要加上kerberos认证。网上查了很多文章，写的thrift连接hive都没有kerberos，分享一下，以供需要通过thrift连接hiveService2并需要开启Kerberos认证的同学一个参考，以便...
2018-12-09 15:40:26
4450
1
原创 Redis 5 集群搭建
实验环境在VMware中准备3个虚拟机，每个虚拟机部署2个redis，一主一从，实现一个总的3主3从的redis集群，主节点端口设置为7001，从节点设置为7002。redis服务使用单独的redis用户和用户组启动。所有文件都在/home/redis目录下。OS: CentOS-7-x86_64-Minimal-1804redis: redis-5.0.0安装配置集群规划19...
2018-11-14 23:26:08
971
转载 javascript 三种变量申明方式var、let、const
javascript 三种变量申明方式var、let、constvar申明了一个要么是全局，要么是函数级的变量；这种是我们最常见也是最常用的。描述：变量声明无论出现在代码的任何位置，都会在任何代码执行之前处理。给一个非声明变量赋值会隐式创建一个全局变量（全局object的一个属性）。如果不初始化，输出undefined或者’’。var https;console.log(htt...
2018-10-14 16:08:08
593
原创 spring-boot整合shiro
概述权限体系在现代任何IT系统中都是很基础但又非常重要的部分，无论是传统MIS系统还是互联网系统，出于保护业务数据和应用自身的安全，都会设计自己的授权鉴权策略。最近项目中也需要用到权限验证功能，项目为spring-boot工程，现成的权限验证框架有shiro和spring-security，shiro相对spring-security来说学习难度要低一点，也是老牌成熟的产品，因此选择shiro...
2018-10-06 02:30:27
29785
7
原创 Orientdb基本操作
建模1、 模型定义-销售数据库（saledb） 顶点继承自属性 人（Person）   姓名（name） 性别（sex） 出生日期（birthday） 员工（Employee） V、Person 工号（workerNo） 客户（Customer） V、Person...
2018-09-02 12:32:43
14044
2
翻译 【JanusGraph】第十一章：使用索引提升性能
11. 使用索引提升性能 Chapter 11. Indexing for Better PerformanceJanusGraph支持2种类型的索引用以提升查询处理速度，分别是图索引（graph indexes）和中心节点索引（vertex-centric indexes）。大多数图查询都是从它们的属性标识的顶点或边的列表开始遍历的。图索引使在大图中进行全局检索的时候变得非常高效。...
2018-09-02 11:09:12
4839
4
翻译 【JanusGraph】第八章：系统部署方案
第八章：系统部署型态 Chapter 8. Deployment ScenariosJanusGraph提供多种后端存储和后端索引，使其能够更灵活的部署。本章介绍了几种可能的部署场景，以帮助解决这种灵活性带来的复杂性。在讨论部署场景之前，理解JanusGraph本身的角色定位和后端存储的角色定位是非常重要的。首先，应用程序与JanusGraph进行交互大多数情况下都是进行Grem...
2018-08-24 00:19:55
4839
翻译 【JanusGraph】第七章：JanusGraph服务
第七章：JanusGraph服务 Chapter 7. JanusGraph ServerJanusGraph使用Gremlin Server作为服务组件对客户端请求进行请求处理响应。当JanusGraph打包的时候，Gremlin Server就被称为JanusGraph服务。JanusGraph使用前必须手动启动，JanusGraph服务提供了一种在一个或多个JanusGra...
2018-08-21 22:51:25
4556
翻译 【JanusGraph】第五章：数据库建模
第五章：数据模型 Chapter 5. Schema and Data Modeling每个JanusGraph图都是由边标签（edge label）、属性key、顶点标签（vertex label）构成。JanusGraph图模型（schema）可以显示定义也可以隐示定义。在实际应用开发过程中图模型定义是强烈建议采用显示定义的。一个显示的图模型定义对构建一个稳定的图应用非常重要并且...
2018-08-18 00:03:49
1465
原创 Neo4j安装
实验环境实验环境：Win10下vmware虚拟机操作系统：CentOS-7-x86_64-Minimal-1804JDK：jdk-8u131-linux-x64 安装neo4j安装非常简单，安装好jdk后，把neo4j程序包解压出来修改一个配置，启动即可。安装JDK在/usr目录下建立目录/javacd /usrmkdir java把JDK安装包上...
2018-08-15 23:54:21
2818
1
翻译 Graph Variables
Graph VariablesTinkerPop3引入了Graph.Variables的概念。变量（Variables）是用于图自身管理的键值对，本质上就是一个Map<String,Object>对象。这些变量计划用于存储图的元数据信息，例如下面这些使用场景：模型定义（Schema information）：命名空间前缀所指代的内容是什么和模型的最后修改时间是什么？全局访问...
2018-08-07 23:32:03
509
原创 JanusGraph使用报错整理-JMX
实验环境CentOS7janusgraph-0.2.1-hadoop2报错gremlin> graph = JanusGraphFactory.open('conf/janusgraph-cassandra-embedded-es.properties')07:15:47 WARN org.apache.cassandra.service.CassandraDaem...
2018-07-25 23:25:15
2986
原创 ElasticSearch安装报错整理-memory[262144]
实验环境CentOS7elasticsearch-6.2.4具体错误[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
2018-07-20 23:43:57
814
原创 ElasticSearch安装报错整理-threads[4096]
ERROR: [2] bootstrap checks failed[1]: max number of threads [3802] for user [elasticsearch] is too low, increase to at least [4096][2]: max virtual memory areas vm.max_map_count [65530] is too low,...
2018-07-20 23:00:17
3758
原创 Spark集群安装
背景介绍最近调到大数据部门，Spark属于大数据非常重要的基础组件，研究研究也是非常必要的，现实验安装一下，以便对其部署运行机制有个深刻的认识。实验环境实验环境：Win7下vmware虚拟机 操作系统：CentOS 6.5 x64 JDK：jdk-8u161-linux-x64 Scala：scala-2.12.4 Hadoop：hadoop-2.7.5 Spark：spar...
2018-03-06 21:52:26
1229
原创 Hadoop集群安装
背景介绍最近研究大数据，hadoop属于大数据中很基础的组件，如果需要深入了解，还是得先知道怎么安装部署，方便后续查阅。本操作步骤详细记录hadoop分布式集群环境的搭建过程。实验环境实验环境：Win7下vmware虚拟机操作系统：CentOS 6.5 x64JDK：jdk-8u161-linux-x64Hadoop：hadoop-2.7.5系统规划准备3个节...
2018-03-05 22:04:13
582
原创 Zookeeper安装配置
背景介绍最近研究大数据，大数据很多组件都需要zookeeper进行管理，理解zookeeper运行原理，安装配置，参数设置对后续大数据深入打下一个好基础。Zookeeper用java开发，所以安装的时候需要先JDK。实验环境实验环境：Win7下vmware虚拟机操作系统：CentOS 6.5 x64 JDK：jdk-8u161-linux-x64Zookeeper：zook...
2018-03-01 21:42:18
1434
原创 Scala安装配置
背景说明最近研究spark需要用到scala，得准备scala环境，整理该配置说明文档备忘。 Scala语言是基于java语言的，所以先要安装JDK。实验环境实验环境：Win7下vmware虚拟机操作系统：CentOS 6.5 x64 java：jdk-8u161-linux-x64.tar.gzscala：scala-2.12.4.tgz安装配置1、安...
2018-02-28 22:14:36
412
原创 Cloudera&CDH安装配置说明
实验环境实验环境：Win7下vmware虚拟机 操作系统：CentOS 6.5 x64 Clouder Manager：5.14.0 CDH：5.14.0安装说明官方共给出了3中安装方式：第一种方法必须要求所有机器都能连网，由于最近各种国外的网站被墙的厉害，我尝试了几次各种超时错误，巨耽误时间不说，一旦失败，重装非常痛苦。第二种方法下载很多包。第三种方法对系统侵入性最小,最...
2018-02-12 15:27:08
14820
原创 CentOS6.5安装Kerberos认证KDC服务
一、 背景介绍大数据平台生产环境开启了Kerberos认证，测试环境没有开启Kerberos认证，导致在开发离线变量计算平台的时候没法在测试环境调试Kerberos认证相关的内容，只能在生产环境上去调试，导致离线变量平台1.0.1.1、1.0.2版本上线的时候由于调试Kerberos的原因上线搞了很久。在生产环境上调试代码是非常不合理的，所以决定把测试环境Kerberos认证搭建起来，...
2018-02-09 23:27:27
4856
原创 JasperReport生成PDF中文不显示处理
JasperReport是一个纯Java写的开源免费报表工具库，原生不支持中文，需要特殊处理后生成PDF方可显示中文。
2017-11-14 23:24:22
16257
7
原创 mongodb删库札记
非常严重的事件，个人网站又被删库了。 9月23日才被删除一次，你大爷的。 好好看看mongodb的安全机制，怎么老被删库啊。
2017-10-10 22:42:14
532
原创 Java智能计算
java直接执行字符串公式，类似js的eval函数。找到2种实现方案。1、JDK1.6里面的ScriptEngine；2、JEXL。
2017-09-24 14:44:54
710
转载 简单地理解 Python 的装饰器
Python有大量强大又贴心的特性，如果要列个最受欢迎排行榜，那么装饰器绝对会在其中。刚接触装饰器，会觉得代码不多却难以理解。其实装饰器的语法本身挺简单的，复杂是因为同时混杂了其它的概念。
2017-09-23 11:09:05
353
原创 spring-retry
当由于网络波动或者资源被锁等情况需要再次尝试的时候，可以使用spring-retry项目来实现，该项目已经应用到 Spring Batch, Spring Integration等项目。
2017-08-16 17:07:44
4816
转载 Python3 多线程
前言Python3 线程中常用的两个模块为_threadthreading(推荐使用)thread 模块已被废弃。用户可以使用 threading 模块代替。所以，在 Python3 中不能再使用”thread” 模块。为了兼容性，Python3 将 thread 重命名为 “_thread”。_threadPython中使用线程有两种方式：函数或者用类来包装线程对象。
2017-06-10 13:33:32
1990
原创 Python3 socket
前言最近又开始学习Python3了，俗话说，3天不摸手生，以前学习的都忘得差不多了，现在又重新捡起来继续学习，虽然都是很基础，很低级的东西，慢慢来吧，什么东西不是一点一点积累起来的呢。
2017-06-10 11:45:10
6792
原创 RestTemplate使用
概述RestTemplate是spring内置的http请求封装，在使用spring的情况下，http请求直接使用RestTemplate是不错的选择。Rest服务端使用RestTemplate发起http请求的时候，Rest服务提供者没有什么特殊要求，直接按照传统的SpringMVC的Controller层实现方式实现即可。举例:@RestController@RequestMapping("/
2017-04-18 13:56:24
31285
2
转载 spring-boot-druid-demo
druid号称最好的java数据库连接池，自带监控，给线上SQL问题定位带来不少便利。这个demo主要引入druid并启用其监控功能。
2017-03-14 15:04:55
1919
原创 spring-boot-mybatis-demo
【约定优于配置】spring-boot建议orm采用JPA，因为jpa符合spring-boot简化配置理念。但是最近在使用jpa的过程中各种不爽，特别是多表联合查询的时候，也可能是我对jpa还没深入。由于个人经历，mybatis使用较多，现整合spring-boot和mybatis。
2017-03-13 13:38:27
5382
原创 spring-boot-ehcache-demo
本地缓存其实项目中用得还比较多，常用的ehcache，现整合spring-boot搭建一个demo方便以后查阅。
2017-03-06 17:43:33
1733
原创 spring-boot-redis-cluster-demo
摘要Redis在项目中使用频率是很高的，使用的时候经常都是以Redis集群的形式。现整理一下Spring-Boot整合redis cluster最基础配置，方便以后查阅。依赖包下面2个依赖是spring-boot集成Redis的必备依赖。
2017-03-06 13:52:02
7611
原创 Spring Boot 启用计划任务
工程中经常会用到计划任务，Spring Boot 中启用计划任务通过@EnableScheduling、@Scheduled两个注解就可以搞定。1.启用计划任务在Spring Boot启动类加上注解@EnableScheduling，表示该工程启用计划任务@EnableScheduling@SpringBootApplicationpublic class Application { p
2017-02-25 11:36:15
3061
1
转载 从jvm的角度来看java的多线程
最近在学习jvm，发现随着对虚拟机底层的了解，对java的多线程也有了全新的认识，原来一个小小的synchronized关键字里别有洞天。决定把自己关于java多线程的所学整理成一篇文章，从最基础的为什么使用多线程，一直深入讲解到jvm底层的锁实现。多线程的目的为什么要使用多线程？可以简单的分两个方面来说： - 在多个cpu核心下，多线程的好处是显而易见的，不然多个cpu核心只跑一个线程其他的核心
2017-02-06 21:45:19
4568
原创 跨域请求
最近闲来无事做个个人网站耍，部署到服务器的时候发现有个字体文件老是下载不下来，浏览器老是报不允许跨域请求。什么是跨域以及产生原因跨域是指a页面想获取b页面资源，如果a、b页面的协议、域名、端口、子域名不同，或是a页面为ip地址，b页面为域名地址，所进行的访问行动都是跨域的，而浏览器为了安全问题一般都限制了跨域访问，也就是不允许跨域请求资源。
2017-02-06 16:35:17
1245
转载 spring+mongodb的整合
mongodb介绍MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。MongoDB is an open-source, document database designed for ease of develop
2017-01-17 15:43:21
4504
1
原创 mysql-5.7.17-winx64免安装配置
安装环境win10配置解压mysql-5.7.17-winx64.zip到D:\database修改配置复制my-default.ini重命名为my.ini 修改my.ini配置[client]#设置mysql客户端默认字符集default-character-set = utf8mb4[mysql]default-character-set = utf8mb4[mysqld]#安装目
2017-01-08 10:01:40
5043
基于Java的数据库连接池技术在即时通信系统中的应用
2010-10-11
用EXCEL VBA实现电子水准数据预处理
2010-10-10
Java操作Word模板实现动态数据输出
2010-10-10
Linux环境下的嵌入式系统网络编程应用
2010-10-10
Java网络编程:连接网络数据库的多种方法
2010-10-10
VB_WinSock网络编程
2010-10-10
Java网络编程的研究
2010-10-10
基于Java的员工日志管理系统的设计与实现
2010-10-08
DVB选择Java技术作为其数字电视广播标准的基础
2010-10-08
关于java数据库基本操作
2010-10-08
利用JAVA实现局域网的跨平台实时视频传输
2010-10-08
基于XML的JAVA报表引擎研究与应用
2010-10-07
基于JAVA的报表软部件的研究与实现
2010-10-07
服务器虚拟化技术在在线考试系统中的应用
2010-10-03
基于ASP.NET与SQL Server2005的在线考试系统
2010-10-03
基于Moodle的在线考试系统的设计与实施
2010-10-03
ASP在线考试系统探讨
2010-10-03
基于J2EE在线考试系统的设计与实现
2010-10-03
asp.net(C#)留言本
2010-09-27
【PyMySQL】python3 mysql数据库操作工具
2016-03-11
UnlimitedJCEPolicyJDK7.zip
2015-04-05
RSA加密解密（JS加密JAVA解密）
2013-06-13
eclipse-tomcat插件v33
2013-01-02
Ireport4.5.0制作3D饼图
2012-04-06
Eclipse关联源代码.doc
2011-10-20
人力资源管理解决方案简介
2010-10-25
JAVA数据库数据分页技术
2010-10-11
利用Hibernate框架简化Java数据库访问
2010-10-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人