- 博客(247)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 解决问题 Sqoop No statements may be issued when any streaming result sets are open and in use
sqoop 执行import或者export时候，出现错误。Sqoop No statements may be issued when any streaming result sets are open and in use
2023-09-13 15:45:08
268
原创 Container is running beyond memory limits
Hadoop环境中，执行MapReduce程序或者Hive 任务时候，任务执行失败，提示内存不足。
2023-09-08 14:31:34
468
原创 大数据Hive的beyond the ‘VIRTUAL‘ memory limit
解决hive beyond the ‘VIRTUAL’ memory limit. Current usage: 106.1 MB of 1 GB physical memory used; 2.3 GB of 2.1
2022-06-29 12:57:26
575
原创 CUDA +cnn安装
目前的深度学习框架大都基于 NVIDIA 的 GPU 显卡进行加速运算，因此需要安装NVIDIA 提供的 GPU 加速库 CUDA 程序。硬件要求查看设备的显卡型号通过网站查询显卡信息支持 CUDA® 的 GPU 卡列表软件要求必须在系统中安装以下 NVIDIA® 软件：NVIDIA® GPU 驱动程序 - CUDA® 11.2 要求 450.80.02 或更高版本安装CUDA工具包，如图进入下载cuDNN 神经网络加速库安装 CUDA 并不是针对于神经网络专
2022-04-08 13:00:44
874
原创 数据可视化——升学与就业人数趋势
本文主要根据国家统计年鉴的数据，统计分析同一时代的人口中，升学与就业的数据趋势。可视化工具采用echarts。1980年出生，在1997年参加高考，以此类推。一、数据收集图1图2注：1980年出生的人对应的高考人数为原始数据中1997年的数据，对应的高校毕业人数为原始数据中2001年的数据，后面年份的数据以此类推；就业人数数据为出生人数减去对应的高校毕业人数。二、数据可视化图3图4三、分析总结高校毕业生的人数越来越多，导致不参加高考直接就业的人数越来越低。所以，最近出现一种现象“工
2022-01-01 11:13:00
964
原创 Phoenix开启Hbase的namespace
背景HBase创建命名空间的语法是`create namepsce xxx`,使用phoenix后，同样可以通过SQL创建命名空间，但前提需要开启NameSpace同步。步骤关闭hbase和Phoenix在 HBASEHOME/conf/hbase−site.xml和HBASE_HOME/conf/hbase-site.xml和HBASEHOME/conf/hbase−site.xml和PHOENIX_HOME/bin/hbase-site.xml追加 <property&g
2021-08-10 13:57:55
675
原创 取得项目管理工程师职称心得体会
一、背景 《项目管理工程师》是国家工信部设立的高级职称之一，每年举办两次考试，分别在5月和11月中下旬。考试分为三科，上午第一科为基础知识（选择题），下午第一科为案例题（主观题），第二科论文题。三科都通过分数线后，能够获得高级工程师职称。 总体来看，考试主要是偏向理论，但是学习下来，会有不少收获，包括管理的方向、管理方式、IT行业前沿、IT技术前沿等。二、备考2.1 第一科（选择题）第一科基本都是大纲中的基础知识，只要把知识点学会，难度不大。我用的教材是
2021-07-12 21:33:46
244
原创 Kafka单节点部署
一、软件版本CentOS7.5Jdk 1.8Kafka 2.11二、步骤假定jdk已经安装完成解压安装包[icss@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/修改解压后的文件名称[icss@hadoop102 module]$ mv kafka_2.11-2.4.1/ kafka在/opt/module/kafka目录下创建logs文件夹[icss@hadoop102 kaf
2021-05-14 16:13:30
280
2
原创 ES6 类的继承
ES6中实现类的继承语法进行了优化，很类似于Java的语法，下面分别演示下ES5和ES6的两种语法。Student类继承于Person类ES 5prototype和__proto__不熟悉的同学，可以参照如下内容prototype和__proto__。 function Person(name, age) { this.name = name; this.age = age; this.innerFunction = fun
2021-02-03 16:01:06
175
原创 jquery on函数监听动态添加的元素
支持给动态元素和属性绑定事件的是live和on，其中live在JQUERY 1.7之后就不推荐使用了。现在主要用on，使用on的时候也要注意，on前面的元素也必须在页面加载的时候就存在于dom里面。动态的元素或者样式等，可以放在on的第二个参数里面。案例如下：<!DOCTYPE html><html><head> <script src="https://cdn.staticfile.org/jquery/2.2.4/jquery.min.js"&g
2020-12-15 17:17:42
2157
2
原创 Datanode启动失败 java.net.BindException: Port in use: localhost:0
一、问题描述Hadoop启动集群后，发现datanode节点启动失败，查看datanode的日志，提示java.net.BindException: Port in use: localhost:0，如图所示：java.net.BindException: Port in use: localhost:0 at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:919) at org.apache.hadoop.htt
2020-11-16 15:20:29
917
原创 Spark Streaming输出至MySQL
一、环境系统：Win10开发工具：scala-IDEA-IDE-项目管理工具：Maven 3.6.0-JDK 1.8-Scala 2.11.11-Spark 2.1.1-MySQL 5.7MySQL c3p0 0.9.1.2 连接池二、案例利用从Socket数据源获取单词，进行单词统计，并将统计结果输出至MySQL数据库中；利用 c3p0 建立数据库连接池，每次连接MySQL都从连接池中获取，减少建立连接的开销；对 c3p0 连接池进行封装，形成惰性单例模式，减少连接
2020-09-04 10:11:26
466
原创 通过vue ui 命令创建项目
vue-cli 3 之后推出了界面化的创建工具，比起命令行更直观、更容易。文章目录一、 安装node及vue/cli二、vue ui创建项目一、 安装node及vue/cli1.参见 【安装node】2. 安装vue/cli，命令行执行npm install -g @vue/cli二、vue ui创建项目cmd输入vue ui后，程序会自动打开浏览器选择项目路径，创建项目填写项目名，取消git选择手动配置预设 根据需要选择，本次选择Babel、 Router、Linter/
2020-06-27 19:04:33
611
原创 毕业设计答辩技巧&降重技巧
文章目录问题1：你这个项目用到了SSM/SSH/JSP/JavaWeb，是怎么体现的？问题2：你在进行数据库设计的时候，有什么技巧吗？问题3：给我找到XX模块的代码，并讲解一下[XX流程是怎么实现的]？问题4：你觉得这个系统还有什么需要完善的地方？问题5：整个项目你的工作流程是怎么进行的？问题6：如果讲解的过程中，遇到不会的怎么办？问题7：论文降重了多少次？问题8：论文降重技巧？作者提供收费...
2020-05-12 16:58:08
5526
原创 IDEA 使用Gitee插件
VCS(版本控制)软件有多个，市场上应用比较广的有3个分别是VCS,SVN,GIT。近几年随着大型项目的开发，Git的占有市场份额不断扩大。国内开源的git最大提供商当属码云（Gitee）。本文主要介绍IDEA中通过gitee插件使用码云。IDEA教程之Gitee插件（码云）...
2020-03-30 21:26:51
901
原创 PDF 转 Word
经常会有朋友问我，pdf 和word相互转换的问题，本文主要介绍这个主题相关的内容。一、word 转 pdf word 转pdf相对比较容易，office 的 专业版 就可以直接导出pdf。文件 -> 另存为 pdf二、pdf 转word word pdf 转word 分为两...
2020-02-13 10:39:38
325
原创 IDEA web工程导入到eclipse
本文主要介绍intellij Idea创建的web工程如何导入到eclipse开发工具中。1. 配置Idea项目Project Structure -> Modules -> 最下方 Dependencies… 选择eclipse2. eclipse Import 项目3. 配置ecplise项目环境4. 配置eclipse web目录删除webContext目录...
2020-01-08 13:41:25
587
原创 tomcat下JNDI配置数据源
JNDI(Java Naming and Directory Interface，Java命名和目录接口)是一组在Java应用中访问命名和目录服务的API。命名服务将名称和对象联系起来，使得我们可以用名称访问对象。目录服务是一种命名服务，在这种服务里，对象不但有名称，还有属性。 本文介绍通过JNDI作为连接池连接MyS...
2020-01-08 10:13:18
377
原创 Eclipse中Tomcat的add and remove找不到项目
场景今天遇到一个问题，项目是由高版本的eclipse构建的，拿过来后本地低版本的eclipse虽然能够打开，但是tomcat的add and remove找不到项目。直接选中项目，右键属性（properties），选择project facts 中的Dynamic Web Module进行版本修改，是不允许修改的（会报错）。解决方法：找到工程项目根目录中的（.settings）文件夹，...
2019-12-25 18:25:42
1046
原创 MapReduce 写入数据到MySql数据库
文章目录一、软件版本二、环境配置三、项目结构四、关键代码五、执行jar包六、MySql查询结果 Hadoop 0.19中提供的DBInputFormat和DBOutputFormat组件最终允许在Hadoop和许多关系数据库之间轻松导入和导出数据，从而使关系数据更容易地合并到您的数据处理管道中。 要在Hadoop和MySQL之间导入和导出数据，肯定需要在机器上安装Hadoo...
2019-11-26 14:14:34
2080
原创 centOS安装Tomcat
一、软件版本centOS 6.7jdk 1.7.0_79-b15apache-tomcat-8.0.36二、安装JDK2.1 解压JDK解压到家目录tar jdk-7u79-linux-x64.tar.gz -C ~2.2 配置环境变量vim /etc/profile追加以下内容：export JAVA_HOME=/home/hadoopadmin/jdk1.7.0_...
2019-11-20 19:35:41
196
原创 Flume监控Tomcat日志输出到HDFS
本文主要介绍如何通过Apache Flume 监控Tomcat的Access Log，并将日志输出到HDFS。文章目录一、软件版本二、前提条件三、安装Flume3.1 解压到家目录3.2 修改conf/flume-env.sh四、配置Tomcat的日志输出五、配置Flume的Job选项5.1 flume中创建目录job5.2 创建文件六、启动Flume6.1...
2019-11-20 17:20:37
536
原创 OpenJDK与JDK的区别
文章目录什么是JDK？Oracle JDK与OpenJDKOracle JDK和OpenJDK如何保持同步？ 本文将讨论Oracle JDK和OpenJDK之间的区别。在详细介绍之前，让我们回顾一下什么是JDK？什么是JDK？ Java开发工具包（JDK）包含Java运行时环境（JRE）以及用于编译和调试Java代码以开发Java应用程序的工...
2019-11-10 20:00:36
3784
原创 解决JRebel访问旧工程问题
一、问题场景工程A采用JRebel热部署，然后工程A拷贝一份为工程B后，在工程B中启动热部署，但是浏览器一直访问的工程A的内容。二、原因JRebel热部署会在工程的src目录下生成配置文件rebel.xml，拷贝到B工程后，该文件并没有更新，所以一直访问工程A的内容。三、解决删除工程B的rebel.xml文件重新配置热部署结束...
2019-10-29 17:22:38
349
1
原创 同一表单上传文件并提交表单值
上传图片和文件form的属性应该是enctype="multipart/form-data"，字符将转成二进制流,因此request.getParameter(“user_type”)是得不到值。默认情况，传递参数编码格式是application/x-www-form-urlencoded，不能用于文件上传。本文主要介绍表单中上传文件并提交表单值，采用apache的commmon-uplo...
2019-10-10 17:05:01
296
原创 数据库设计之规范化和反规范化
文章目录一、规范化二、反规范化 数据库设计的规范化能够经常被提及，但是反规范化很少被涉猎。实际应用中反规范化应用的场景很多。本文主要介绍一下数据库的反规范化。一、规范化常见的规范化有数据库设计的三范式。1NF 是最低的规范化要求。如果关系 R 中所有属性的值域都是简单域，属性不可再分。2NF 非主属性完全函数依赖于码3NF 非...
2019-09-09 20:56:58
4558
1
原创 浏览器去除网页广告
平时通过访问网页的时候，有些网站的广告繁多，频繁变化的小窗口，严重影响浏览体验。本文介绍通过浏览器的去广告插件来屏蔽广告。由于Chrome Store 网页无法在大陆访问，所以采用Firefox浏览器。一、工具Firefox 浏览器 （下载地址: https://www.mozilla.org/zh-CN/firefox/）Adblocker (无需下载)二、安装安装Firefox...
2019-08-10 17:11:13
757
原创 全国高校大数据师资培训感悟
文章目录教师特点大数据大学课程 2019年7月份，中软国际举行了全国高校大数据师资培训，我作为中软国际资深项目教师授课，并组织教师开展丰富多彩的学术交流和研讨活动。 培训的地点在浙江宁波，来参加的老师来自全国多个省份，多位老师是博士学位、教授职称。非常有幸能和这么多高学历的老师一起探讨交流。教师特点理论性强多位老师的研究方向是数学和算法，曾经发表的论文就是算法的优化（如：聚类...
2019-07-22 18:56:56
1258
原创 后台管理界面布局
本文主要介绍基于前端模板hadmin实现左上右布局。左侧是导航栏，右侧显示主题内容。 代码下载地址：链接: https://pan.baidu.com/s/1YLw_ozSxXQ-VKni27u-c5Q 提取码: nkqv一、效果二、实现原理主界面index....
2019-07-02 08:56:49
1740
1
原创 Apache Storm简介及安装
一、环境准备3台虚拟机○ 主机名分别是：L0, L2, L3○ 操作系统：CentOS 6.7○ 已经装有JDK 7○ 已经装有 zookeeper-3.4.10apache-storm-0.9.6.tar.gz 二、Storm简介 Apache Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不...
2019-06-19 09:21:10
5350
原创 Initialization failed for Block pool <registering> (Datanode Uuid unassigned)
一、原因是namenode和datanode的clusterID不一致导致datanode无法启动.二、解决：2.1思路：删除data、tmp、namenode 数据后，重新格式化。2.2步骤：查看tmp的物理路劲 core-site.xml <!-- Hadoop文件系统依赖的基础配置 --> <property> <name>ha...
2019-05-11 16:04:13
6969
4
翻译 CentOS 安装redis
Redis是一种内存数据结构存储，用作数据库服务器，缓存和消息代理。 Redis是用C编程语言编写的。 本教程将帮助您在CentOS 7/6服务器上安装Redis服务器。步骤1 准备 Redis软件包在默认的yum存...
2019-05-06 10:04:48
202
原创 NoSuchMethodException ArrayWritable.<init>() 解决
在进行hadoop 的map reduce时，有时候会用ArrayWriteable作为KeyIN,KeyOut，ValueIn,ValueOut。编译时候可以通过，但是执行的时候会抛出异常NoSuchMethodException。原因ArrayWriteable类没有提供默认的无参构造函数解决自定义一个类（如：MyArrayW...
2019-04-20 20:00:58
427
原创 同一表单上传头像并提交文本值
文章目录一、开发环境二、界面截图三、关键代码 传统的表单中要上传图片的时候，需要在form标签中追加enctype=“multipart/form-data” 参数。但是增加该属性后，同一个表单中 【input type=“text” name = “username”】等控件的值，后台就会接受不到。本文主要介绍通过将图片转换为base6...
2019-03-23 22:01:02
370
4
原创 通过java代码动态生成jar文件
当java工程代码编写结束准备生成jar文件时，常见的方法是通过工程构建工具（如：maven、Ant）自动创建或者通过IDE导出jar包。其实还可以自己编写java代码动态生成jar文件。工程截图HelloWorld.java 作为工程的业务主类，为了便于演示，仅输出hello,worldPackageUtil.java 生成...
2019-03-17 20:25:53
3328
翻译 Hadoop3与Hadoop2及Spark比较
2017年12月发布的Hadoop 3标志着数据科学新时代的开始。Hadoop框架是整个Hadoop生态系统的核心，其他各种库都依赖它。 在本文中，我们将讨论Hadoop 3与Hadoop 2相比的主要变化。我们还将解释Hadoop和Apache Spark之间的差异，并建议如何...
2019-02-18 09:04:37
6974
原创 ExitCodeException exitCode=-1073741701
在博客windows系统通过eclipse远程MapReduce服务器中部署环境后，有个别机器会出现ExitCodeException exitCode=-1073741701 异常，主要原因是windows操作系统缺少文件，本文主要介绍一下解决方法。原因：操作系统缺少 msvcr120.dll文件解决： &...
2019-01-23 18:07:23
3666
1
使用Eclipse ADT构建PhoneGap入门程序
2016-09-11
javascript动态追加下拉框及Java端接受新追加的下拉框参数
2015-10-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人