- 博客(31)
- 资源 (95)
- 收藏
- 关注
RSS订阅原创 Bootstrap框架----弹出层录入
我们经常需要在不跳转页面的情况下新增录入的交互。本章记录弹出层录入的交互方式。效果如图: 我们在之前的文章中已经在SpringMVC基础框架的基础上应用了BootStrap的后台框架，在此基础上记录 check选择。 应用bootstrap模板基础项目源码下载地址为: SpringMVC+Shiro+MongoDB+BootStrap基础框架我们在基础项目中已经做好了首页...
2018-03-28 18:05:22
2816
1
原创 Bootstrap框架----多项关联—check选择
我们之前已经记录了两种多项关联的交互方式，标签和列表 Bootstrap框架—-多项关联—标签式选择 Bootstrap框架—-多项关联—列表选择本章记录第三种多项关联的交互–check选择，适用于中等数量的多项关联。效果如图: 我们在之前的文章中已经在SpringMVC基础框架的基础上应用了BootStrap的后台框架，在此基础上记录 check选择。 应用bootstrap...
2018-03-28 17:20:30
2367
1
原创 Bootstrap框架----多项关联—列表选择
我们在上一篇文章已经记录了使用标签选择进行多项关联的交互。 Bootstrap框架—-多项关联—标签式选择本章我们记录第二种交互方式，列表勾选。 效果如图: 我们在之前的文章中已经在SpringMVC基础框架的基础上应用了BootStrap的后台框架，在此基础上记录 列表选择。 应用bootstrap模板基础项目源码下载地址为: SpringMVC+Shiro+MongoDB...
2018-03-28 16:20:36
2714
1
原创 Bootstrap框架----多项关联—标签式选择
我们在后台录入的交互中经常会有需要建立关联的场景，比如一个渠道下有多个联系人，如果把渠道和联系人建立关联。我们这里记录第一种方式 标签式选择。效果如图:我们在之前的文章中已经在SpringMVC基础框架的基础上应用了BootStrap的后台框架，在此基础上记录 标签式选择。 应用bootstrap模板基础项目源码下载地址为: SpringMVC+Shiro+MongoD...
2018-03-27 18:55:16
2843
1
原创 Bootstrap框架----多条记录多文本(List)Select录入
我们在上一章节已经记录了多条记录多文本的录入 Bootstrap框架—-多条记录多文本(List)添加我们发现 之前设计的交互都是直接手动输入的，比如性别男女。但是我们在数据库一般保存的性别是0或者1。这样的话，我们需要把其他一个输入框修改成下拉框选择的交互方式。本篇文章记录多条记录多文本(List)Select录入。效果如图: 在Bootstrap框架—-多条记录多文...
2018-03-27 17:46:07
2657
1
原创 Bootstrap框架—-多条记录多文本(List)添加
我们在上篇文章中已经记录了多条记录双文本(List)添加的后台功能交互Bootstrap框架—-多条记录双文本(List)添加本章来实现多文本的多条记录录入，传给后台保存成List的结构。界面交互设计如图: 可动态添加行数，每行多个文本录入。我们在之前的文章中已经在SpringMVC基础框架的基础上应用了BootStrap的后台框架。应用bootstrap模板基础项目...
2018-03-27 16:19:24
3116
原创 遇到问题---hadoop--Remote App Log Directory does not have same value for the 4 NodeManagers
情况因为我们的某台服务器空间不足，暂时清理不出来，所以需要修改一些存放数据的日志目录等。修改完毕之后发现报错错误的配置 Remote App Log Directory does not have same value for the 4 NodeManagers。原因一般来说 不同的主机不要求配置的目录一致，但是yarn.nodemanager.remote-app-log...
2018-03-27 11:37:22
601
原创 遇到问题--hadoop--DiskErrorException:Could not find any valid local directory for
情况我们在运行importTsv命令时执行mapreduce，在output阶段报错org.apache.hadoop.util.DiskChecker$DiskErrorException:Could not find any valid local directory for。完整报错如下:2018-03-22 10:34:12,001 INFO [LocalJobRunne...
2018-03-23 14:11:16
2878
原创 遇到问题--hadoop---cdh--SERVICE_MONITOR_LOG_DIRECTORY_FREE_SPACE has become bad
情况一开始安装CDHservice服务的的节点报警告如下The health test result for SERVICE_MONITOR_LOG_DIRECTORY_FREE_SPACE has become bad: This role's Log Directory is on a filesystem with less than 5.0 GiB of its space f...
2018-03-22 14:46:46
3120
原创 hadoop组件---hbase--海量数据使用importtsv和Bulk load导入hbase最详细实践
我们本章来探索海量数据使用importtsv和Bulk load导入hbase最详细实践。我们之前已经尝试了使用kettle把mongodb的数据导入hbase，但是发现速度比较慢。 单机kettle导入hbase，6700万条数据使用了27个小时，4亿多条数据需要的时间就更多了。情况介绍HBase本身提供了很多种数据导入的方式，目前常用的有三种常用方式： 1、使用HBase原...
2018-03-21 18:19:56
4700
1
原创 遇到问题--hadoop---节点服务重启成功一段时间后又停止
情况我们发现CDH中一个hbase的regionServer节点经常自动停止，没有明显的错误信息。重启后又过一小段时间又自动停止原因这种情况一般都是需要排查相关服务的日志的，比如我们是regionServer节点的服务，则需要先看regionServer节点的日志。很幸运的是 原因很快就找到了。一进入日志界面就报错找不到日志文件路径。一般这种情况有可能是读写权限...
2018-03-20 10:32:35
814
原创 遇到问题--hbase---java连接hbase报错TTransportException
情况我们在java中连接hbase报错。java的链接代码如下: package com.test.web.controller;import java.util.ArrayList; import java.util.List;import org.apache.hadoop.hbase.thrift2.generated.TColumnValue; import or...
2018-03-19 19:33:27
3635
原创 hadoop组件---面向列的开源数据库(四)---kettle抽入mongodb数据导入hbase
我们在前面的案例中已经使用kettle把数据导入到hive中。本章我们来尝试把数据导入到hbase里。参考链接: https://wiki.pentaho.com/display/BAD/Loading+Data+into+HBasekettle案例七连接hive–抽取mongodb的数据保存到hive下载hadoop cluster配置文件从服务器hadoop etc的配置...
2018-03-14 20:02:16
3078
2
原创 hadoop组件---面向列的开源数据库(五)--java--SpringMVC查询hbase
我们在之前的SpringMVC框架上直接使用thrift查询hbase。框架下载地址SpringMVC+Shiro+MongoDB+BootStrap基础框架引入maven依赖hbase已整合了thrift，如果是java不用再安装thrift产生服务端代码，只引入下面依赖：在pom.xml文件中新增<dependency> <groupId&...
2018-03-14 16:35:45
1166
1
原创 遇到问题---thrift--python---ImportError: No module named thrift
情况我们在启动hbase的thrift服务后使用python来进行测试连接hbase时报错ImportError: No module named thrift。完整报错如下:[root@host252 thrift]# python test.pyTraceback (most recent call last): File "test.py", line 3, in &l...
2018-03-14 15:32:54
9205
1
原创 遇到问题---centos---运行yum报错：No module named yum
情况我们在公司的集群环境想要使用yum命令进行安装一些组件，报错No module named yum。完整报错信息如下:There was a problem importing one of the Python modulesrequired to run yum. The error leading to this problem was: No module n...
2018-03-14 11:03:50
24911
9
原创 hadoop组件---面向列的开源数据库(二)---hbase常用命令
我们在上一章已经学习了hbase的相关介绍。本章记录hbase常用的命令。参考文献 http://hbase.apache.org/book.html#shellhbase shellhbase提供了一个shell的终端给用户交互。使用命令hbase shell进入命令界面。 通过执行help可以看到所有命令的列表。 COMMAND GROUPS: Group ...
2018-03-13 15:13:33
941
原创 hadoop组件---面向列的开源数据库(一)---hbase简介
简介我们之前已经学习了hive，现在来学习下hbase。 HBase(Hadoop Database)是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库。 与hadoop一样，Hbase可以依靠横向扩展，通过不断增加廉价的服务器，来增加计算和存储能力。背景该技术来源于Fay Chang所撰写的Google论文Bigtable(一个结构化数据的分布式存储系统)。 就像...
2018-03-12 17:16:28
1385
原创 数据仓库(十三)--java--presto---SpringMVC使用presto查询hive
我们对8400万条hive数据使用presto进行查询，数据量大约11G，不是很大。尽量不适用or语句前端web界面上只有一个输入框，通过这个输入框同时查询三个字段是否有相等的数据使用查询语句主要涉及三个字段为:select chromosome,position,rs from chip where 1=1 and (chromosome='156531656' or pos...
2018-03-09 15:45:35
1762
原创 数据仓库(十四)--java--presto---hive的分页查询
我们在SpringMVC框架中使用那个presto查询hive的数据做展示时，发现在table里分页是个不可避免的话题。建议去掉count但是尴尬的是 对于海量数据 count的效率是很低的，因为在不加条件的情况下基本上要扫描全表。count操作性能比较收集 oracle里Count一亿条数据 大于10分钟 mysql,3000万行记录，count(*)需要200s hive+p...
2018-03-08 14:16:41
9304
1
原创 数据仓库(十三)--java--presto---SpringMVC使用presto查询hive
我们在之前的文章中已经学习过了presto的安装部署和连接hive使用。 并且在cli命令界面中进行了操作。数据仓库(十)—分布式SQL查询引擎—presto安装部署和连接hive使用不过我们最终的应用场景肯定是在可视化web中进行查询分析，所以有必要在web的框架中使用presto对hive进行查询。因为我们一直用的比较多的都是SpringMVC框架，所以在这个基础上进行配置使用。...
2018-03-06 16:32:21
6229
2
原创 遇到问题---CDH重启namenode--Command timed-out after 150 seconds--角色正在启动
情况我们由于某些配置参数的调整 有时候需要重启namenode。最方便的操作就是在CM后台直接操作–重新启动。但是这次遇到的情况比较诡异，点击重启之后 namenode的状态变成了 已停止。再次去点击重新启动则报错:Command aborted because of exception:Command timed-out after 150 seconds角色正在启动...
2018-03-04 19:33:59
8206
原创 hadoop进阶---hadoop性能优化(一)---hdfs空间不足的管理优化
Hadoop 空间不足，hive首先就会没法跑了，进度始终是0%。将HDFS备份数降低将默认的备份数3设置为2。 步骤：CDH–>HDFS–>配置–>搜索dfs.replication–>设置为2 删除无用HDFS数据和Hbase表格主要使用命令hadoop fs -du，hadoop fs -ls，hadoop fs -rm 空间不足根本的解决...
2018-03-03 12:35:17
9388
2
原创 hadoop案例(一)--hive--2T数据动态创建分区
我们在使用hadoop集群过程中，发现网上很少有具体的数据使用分析案例，也就是说 我们不知道多少个节点处理多少大小的数据量耗费多少时间是合理的哪些是需要优化的。为了增加这方面的相关经验，我们会记录一下实际的使用案例。以供大家参考。配置如图: 耗费时间如图： 执行语句set hive.exec.dynamic.partition=true;set hive.exe...
2018-03-03 11:35:30
900
原创 遇到问题--hive--presto--directory does not match the declared bucket count
遇到的情况directory (1) does not match the declared bucket countpresto:default> select * from table_p where id='123' limit 1;Query 20180302_022639_00002_xpfqj, FAILED, 1 nodeSplits: 17 total,...
2018-03-03 11:15:21
2340
原创 遇到问题---hadoop----local-dirs are bad
遇到的问题我们的hadoop集群在运作过程中部分节点报错local-dirs are bad原因hadoop集群硬盘目录默认的使用阈值是90% 空间不足，目录使用率超过阈值了90%了解决方式调整yarn的参数 yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage ...
2018-03-03 10:54:48
4237
原创 遇到问题---hadoop---reduce执行时又重新map
遇到的情况我们在运行一个2T的hive数据进行动态分区，发现运行了很长时间的mapreduce在reduce运行过程中又重新启动了一次map。如图 原因分析到的原因可能有两个 一是有异常报错，reduce入库时一直失败，很多个fail或者kill，hadoop启用推测执行机制。hadoop针对慢或者老是失败的任务额外启动一个备份任务，一起处理同一份数据，哪个先执行完，则采用...
2018-03-03 10:42:49
1259
原创 遇到的情况--hive---动态创建分区报错dynamic.partitions.pernode. Maximum was set to: 100
遇到的情况我们在hive shell中使用insert overwrite table table_ppartition(time)select id,time from table_info;进行动态分区写入数据，然后在reduce的时候报错 hive.exec.max.dynamic.partitions.pernode. Maximum was set to: 10...
2018-03-03 10:05:25
5663
原创 遇到的情况---hadoop集群-- NodeManager启动不起来--java.io.FileNotFoundException
情况hadoop集群nodemanager启动不起来，查看输出的日志报错 java.io.FileNotFoundException: /hadoop/dfs1/log/hadoop-yarn/hadoop-cmf-yarn-NODEMANAGER-host251.log.out (Read-only file system)管理后台点击查看 NodeManager的日志文件，角色日志文...
2018-03-02 18:53:21
2281
1
原创 遇到问题---hive---数据仓库---Container ... is running beyond physical memory limits
情况我们跑一个hive的动态分区insert overwrite时最后报错如下: Container [pid=39398,containerID=container_1511338430452_0073_01_009567] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical me...
2018-03-02 18:15:31
3792
原创 数据仓库(十二)---分布式SQL查询引擎---teradata版本的presto安装和使用
我们在使用presto过程中，发现facebook原版和京东原版都是 解压可用，teradata版本的安装要麻烦一些。下面对teradata版本的安装过程进行记录。首要条件1、需要python2.6或者python2.7环境 之所以需要python环境是因为teradata版本的presto把安装封装成了集群式安装。根据配置在安装过程会自动进行分发配置。 2、最好使用root用户，...
2018-03-02 17:32:21
1890
ssh框架搭建用到的包完整版.zip
2014-07-03
java通过class读写excel的例子
2014-07-01
整合spring和mongodb用到的包和配置文件
2014-01-21
springMVCHibernateShiroBootStrap框架
2017-11-16
cxselect选择城市
2017-09-13
ueditor1.4.3的jsp版utf-8
2017-07-03
bootstrap-fileinput-master.zip
2017-06-23
SpringMVC+Shiro+MongoDB+BootStrap基础框架
2017-05-16
SpringMVC+Shiro+MongoDB基础框架
2017-05-15
hadoop-eclipse-plugin-1.2.1.jar
2016-09-14
hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结.pdf
2016-06-12
springMVC+maven+hibernate框架
2015-11-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人