- 博客(29)
- 资源 (10)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 客户端调试hadoop报错：Permission denied: user=Lenovo, access=READ_EXECUTE, inode="/tmp/.
一、问题描述使用hadoop的java api访问hdfs，读取hdfs上所有文件信息。但是因为没有访问权限，报错：Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Lenovo, access=READ_EXECUTE, inode=...
2019-04-29 18:59:21
3068
1
原创 solr（五）：solrj实现对索引的增删改查
一、环境1.IDEA2.JDK1.83.CDH5.7.0二、构建开发环境1.创建Maven工程，引入solr相关包<!--solr--><dependency> <groupId>org.apache.solr</groupId> <artifactId>solr-solrj</artifactId&...
2019-04-27 21:50:41
343
原创 solr（四）：添加实例
一、目的隔离每个实例，清晰每个实例工作内容，利于项目管理，提高项目执行效率。二、环境1.CentOS6.42.CDH5.7.03.solr-4.10.3-cdh5.7.0三、步骤1.进入solrhome目录，默认是有collection1solrhome/collection1/2.复制collection1到collection2cp -r colle...
2019-04-27 16:11:08
442
原创 Solr（三）：数据库数据批量导入solr
一、实现功能将数据库中数据，批量导入solr，构建全文检索。二、环境1.CentOS6.42.CDH5.7.03.solr-4.10.3-cdh5.7.0三、步骤1.导入原始数据库2.依据业务修改schema.xmlvi solr-4.10.3-cdh5.7.0/solrhome/collection2/conf/schema.xml针对具体的业务需要...
2019-04-27 15:51:48
630
原创 solr（二）：Solr配置中文分词器IKAnalyzer2012FF_u1
一、目的 通过使用比较高效的IKAnalyzer2012FF_u1分词器对中文内容进行检索分词，利于最终的全文检索。二、环境1.CentOS6.42.CDH5.7.03.solr-4.10.3-cdh5.7.0三、实现步骤1.下载ik分词器IKAnalyzer2012FF_u1https://download.csdn.net/download/u010886...
2019-04-27 11:22:38
513
原创 Solr检索doc/xls/pdf报错：org.apache.tika.exception.TikaException: Error creating OOXML extractor
一、问题描述使用solr检索doc、xls、txt等文件的时候，报错：Exception in thread "main" org.apache.solr.client.solrj.impl.HttpSolrServer$RemoteSolrException: org.apache.tika.exception.TikaException: Error creating OOXML e...
2019-04-27 10:33:43
2441
原创 Solr ：HttpSolrServer$RemoteSolrException: ERROR: [doc=sqoop_job_main.log] unknown field 'attr_meta'
一、问题描述1.环境solr4.10.3-cdh5.7.0（即使更高版本，如果问题类似，应该也是同样的问题）2.问题：在客户端代码发送solr服务器请求时，报错：Exception in thread "main" org.apache.solr.client.solrj.impl.HttpSolrServer$RemoteSolrException: ERROR: [doc...
2019-04-27 08:56:22
1025
原创 Kettle（一）：链接Hive数据仓库
一、环境配置1.CDH 5.15.22.启动hiveserver2 确认端口号，默认是10000。自行修改的话，使用自己的。3.Kettle 8.2 下载地址：https://community.hitachivantara.com/docs/DOC-1009855二、配置Hive插件相关配置1.下载需要的hadoop jar包（hadoop-common...
2019-04-25 09:41:42
2978
转载 （转）烂泥：使用Navicat for Oracle新建表空间、用户及权限赋予
【说明：本人使用Navicate12.1.2按照本文可以实现创建表空间，以及用户权限赋予。大神截图以及标注非常清晰，特此转载】【作者：烂泥大神，原文链接：https://blog.51cto.com/ilanni/1242797】本文由秀依林枫提供友情赞助，首发于烂泥行天下。前篇文章我介绍了有关NavicatforSQLServer的使用方法，今天我再来介绍它的同门师兄弟...
2019-04-24 10:55:22
320
原创 solr（一）：安装与配置solr-4.10.3-cdh5.7.0
一、相关软件下载（1）solr下载因为搭建Hadoop环境是使用CDH5.7.0版本，所以下载对应版本的solr：http://archive.cloudera.com/cdh5/cdh/5/，下载solr-4.10.3-cdh5.7.0.tar.gz。（2）JDK：jdk1.7.0_80，官网下载（3）Tomcat：apache-tomcat-8.5.12.tar.gz，下载...
2019-04-23 21:55:57
650
原创 idea 复制项目并且重命名（项目另存为）方法
一、目的对于一个基础的代码，只是想测试一些新功能，但是不想在原始项目中更改代码，因为这样会导致原始基础代码变动。所以，希望复制一份新项目，在新代码中更改，但是，发现简单复制竟然不行。这就尴尬，之前没遇到过，赶紧查找，终于成功，在此记录一下！二、方法1.直接在浏览器中复制项目2.删除.idea下的workspace.xml3.修改项目根目录下iml文件，与新项目的名字一致...
2019-04-22 16:29:46
12618
5
原创 安装mysql 5.7.19 rpm包报错：/usr/bin/perl is needed by mysql-community-server-5.7.19-1.el7.x86_64
一、问题描述从mysql官网下载mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar，然后解压安装。安装顺序如下rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpmrpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpmrpm -ivh mysql-...
2019-04-20 13:23:29
21038
6
原创 Hadoop（5）：MapReduce编程统计PV
一、目的对于用户访问日志，使用MapReduce进行编程分析，获得每个城市的访问量。二、实现环境1.CDH 5.7.02.CentOS 7.43.集群外部Hadoop开发环境部署参考博客：https://blog.csdn.net/u010886217/article/details/89278390三、实现代码1.研究日志格式2.MapReduce实现统计...
2019-04-15 23:28:46
487
转载 （转）MapReduce shuffle过程详解
【转自xidianycy大神的：《MapReduce shuffle过程详解》，原文连接：https://blog.csdn.net/u014374284/article/details/49205885】一、MapReduce计算模型我们知道MapReduce计算模型主要由三个阶段构成：Map、shuffle、Reduce。Map是映射，负责数据的过滤分法，将原始数据转化为键值对；R...
2019-04-14 22:46:37
236
原创 Hadoop（4）：MapReduce on Yarn工作流程
一、关键概念1.Client客户端作用：提交mapreduce任务的电脑。2.Resource manager作用：用于管理整个集群资源调度分配，包含Applications manager和Resource Scheduler。（1）Applications manager：管理每个提交任务，创建每个任务的Application master。（2）Resource Sc...
2019-04-14 18:23:27
997
原创 黑群晖私有云NAS：同步百度云盘数据
一、目的因为百度网盘的不确定性，考虑将重要文件都备份一份，是必备选择。毕竟资料价值无限，所以，自己准备将百度云文件与本地服务器同步，过程做记录，并且总结！二、步骤1.创建百度云文件夹（1）点击“控制面板”，选择“共享文件夹”。（2）新建文件夹（3）创建“百度云”2.打开“套件中心”，下载“Cloud Sync”3.配置“Cloud Sync”（1...
2019-04-14 15:02:14
19512
1
原创 大数据调试环境配置（2）：IDEA外部链接Hadoop调试环境配置以及部署jar包到服务器
一、目的远程客户端编写MapReduce代码，并且配置环境进行调试。二、环境1.IDEA2.JDK1.83.CDH 5.7.0三、步骤1.创建Maven项目2.加载对应CDH需求依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/PO...
2019-04-13 10:27:52
767
转载 （转）在Windows下开发hadoop的MapReduce的坑！！！
本文转自：lsr40大神的《在Windows下开发hadoop的MapReduce的坑》，地址https://blog.csdn.net/lsr40/article/details/77868113，eclipse配置hadoop调试，以及错误处理都很详细！写在文前，本人菜鸡，写个文章，单纯为了记录下心路历程还有填坑，如果有说错的地方，还望大神指正！今天记录的是在Window...
2019-04-13 08:28:39
315
原创 CentOS7.4制作离线yum源
一、目的 对于一些要求离线安装的项目，需要先在联网的环境下将依赖包都下载，然后在离线环境上直接部署安装。而制作离线yum源，然后，在离线环境中部署自己制作的yum源，是一个非常好的方法。二、环境1.CentOS7.4三 、制作离线yum源步骤1.安装yum-utilsyum install -y yum-utils2.yumdownloader使用方法...
2019-04-12 21:32:39
2473
原创 Hadoop（3）：Shuffle过程详解
一、Shuffle功能Shuffle发生的阶段是map的输出到达reduce输入之前的中间阶段，其作用将Map端输入进行打乱重组，然后，输出到Reduce端。Shuffle由map shuffle和reduce shuffle组成。二、步骤详解以wordcount 单词统计1.读取read.txt文件Hadoop sparkspark2.读取文件到输入map的数据格式...
2019-04-12 00:41:25
393
原创 Hadoop（2）：MR日志聚合以及服务开启
一、日志服务：1、历史服务器作用： 查看已经运行完成的应用记录。需要指定historyserver的地址，内部和外部通信端口号，如果不指定默认是本机。historyserver是一个轻量级的服务，可以部署在任意一台节点上。必须开启日志服务才可以看聚合（保存）下来的日志。2、配置（在mapred-site.xml中）： 注意：这里的端口号不能随便修改<pr...
2019-04-12 00:35:09
621
原创 Linux下安装Maven
一、目的构建Linux下的maven环境，可以在其中编译源码。二、步骤1.官网下载对应版本，例如3.3.9https://archive.apache.org/dist/maven/maven-3/ 2.上传服务器，然后解压缩tar -zxvf /opt/softwares/apache-maven-3.3.9-bin.tar.gz -C /opt/modules/...
2019-04-10 22:05:08
176
原创 大数据调试环境配置（1）：外部链接HBase调试环境配置
一、目的在开发过程中，不可避免需要在集群外部调试程序，以便快速开发，测试。二、环境1.IDEA2.CDH 5.7.0（Hbase、HADOOP）三、步骤1.创建Maven项目2.加载对应CDH需求依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache...
2019-04-10 19:04:06
2119
1
原创 远程链接HBase调试报错：Exception in thread "main" java.lang.ExceptionInInitializerError
一、问题描述1.环境CentOS6，CDH5.7.0，hbase-1.2.0-cdh5.7.02.报错描述外部连接hbase服务器，在创建admin时报错：String nameSpace = "Test"; String tbName = "student"; String colFamily = "info"; // 1.读...
2019-04-10 18:38:52
2039
原创 远程调试HBase，报错：org.apache.hadoop.hbase.MasterNotRunningException; 必须对其进行捕获或声明以便抛出
一、问题描述远程调试HBase，创建配置文件，建立管理员Admin，但是创建时报错：org.apache.hadoop.hbase.MasterNotRunningException在代码运行后报错，我运行之后报错：Warning:(22, 28) java: org.apache.hadoop.hbase.client.HBaseAdmin中的HBaseAdmin(org...
2019-04-09 19:04:07
1278
转载 （转）IDEA中提示：Warning:java: 源值1.5已过时, 将在未来所有发行版中删除
【转载原文地址：】https://blog.csdn.net/Stripeybaby/article/details/80010734问题描述：运行Java Web项目时，IDEA中提示：Warning:java: 源值1.5已过时, 将在未来所有发行版中删除解决方法：1. 打开【File】—【Project Structure】，找到以下两个地方：Project Str...
2019-04-09 17:30:38
285
原创 Hadoop（1）：JDK/HADOOP/YARN的安装配置
一、JDK安装和配置1、先卸载原先系统的java2、先修改权限chown -R hadoop01:hadoop01 /opt/3、解压JDK到指定的目录下，目录任意，建议不要装在某个用户主目录下tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/4、添加环境变量 （1）修改vi /etc/profile文件，配置...
2019-04-09 00:18:27
1664
原创 CM部署（4）：添加cm组件
一、实现功能添加hadoop常见组件，hdfs，yarn，hive，zookeeper，spark，flume，oozie等。二、添加hdfs1.点击添加hdfs然后添加hdfs2.namenode/secondarynamenode/datanode的资源分配3.之后配置4.等待部署三、yarn1.添加yarn2.选择机器3...
2019-04-03 08:35:12
1244
原创 VMware安装Centos6.5教程（4）：虚拟机克隆
一、克隆虚拟机意义可以简化重新装系统工作，提高工作效率！二、步骤1.关闭Linux系统关机：init 0 ; poweroff ; halt; shutdown 重启：init 6 ; reboot2.虚拟机--》管理 --》克隆选择完整克隆而非克隆链接3.克隆出来的虚拟机修改配置总括（1）要修改主机名和ip地址，关键是要修改网卡信息（2）修改主机名位置修改主...
2019-04-01 00:50:32
408
hadoop的wordcount简单实例
2018-12-06
火狐电子书阅览器EPUBReader
2015-05-21
c#report view控件报表
2015-03-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人