- 博客(390)
- 资源 (12)
- 收藏
- 关注
RSS订阅转载 转：遇到问题---hadoop----local-dirs are bad
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/q383965374/article/details/79428818遇到的问题我们的hadoop集群在运作过程中部分节点报错local-dirs are bad原因hadoop集群硬盘目录默认的使用阈值是90%空间不足，...
2019-12-03 11:10:49
639
转载 转：hadoop 多次格式化format namenode 导致节点不能启动解决
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/qq_41059374/article/details/806955811.具体配置我用的是vmware配的虚拟机，一个master，2个slave2. 遇到的问题hadoop 多次格式化format namenod...
2019-12-02 13:04:51
1730
转载 转：集群提交MapReduce作业执行卡住问题解决方案
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/WYpersist/article/details/80202055关于MapReduce,Map能完全执行，Reduce执行到一半卡住不执行住了几个小时，死活停滞不前，发现后根据提示开始排错，进入50030，进入作业发现这说明作...
2019-11-29 20:11:05
2597
转载 转：初次启动hive,解决 ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No
刚刚安装好hive,进行第一次启动[hadoop@ltt1 bin]$ ./hivels: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or directorywhich: no hbase in (/home/hadoop/hive110/bin:...
2019-11-07 13:52:26
413
转载 转：parquet简单介绍与总结
==>什么是parquetParquet是列式存储的一种文件类型==>官网描述：Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless of the choice ...
2019-11-07 12:38:02
520
转载 转：Spark案例：Scala版统计单词个数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/howard2005/article/details/79331556利用Spark的RDD可以对本机或集群上的文件进行词频统计。1、创建Scala项目SparkScalaWordCount2、创建lib目录，添加spark的ja...
2019-10-18 10:51:45
1987
转载 转：Scala的map实现key和value排序及各种排序比较等知识讨论
问题导读1.map能否直接排序？2.如何转换，才能排序？3.排序结果可以存储在哪两个集合中？4._*如何使用？5.排序函数中，哪个可以进行升序和降序排列？6.他们的排序性能如何?如过想要对一个map排序，该如何实现。首先给一个不可变的map? 1 2 3 4 5 6 7 scala&...
2019-10-18 10:35:38
3489
转载 转：scala之map操作史上最全
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/xianpanjia4616/article/details/80947616Map(映射)是一种可迭代的键值对（key/value）结构。所有的值都可以通过键来获取。Map 中的键都是唯一的。Map 也叫哈希表（Hash tabl...
2019-10-18 09:33:20
1114
转载 转：sparksql练习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/CSDN_Hzx/article/details/82381013题目：-------学生表//学号//学生姓名//学生性别 //学生出生年月//学生所在班级--------课程表//课程号//课程名称/...
2019-10-17 09:59:14
447
转载 转：Spark 算法练习两则
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/weixin_42712876/article/details/85170876练习一：求最大最小值在文件中获取数据求浮点数和整数的最大值和最小值1,2.33,4,1.55,2.56,55,55,55,23.77,1.88987...
2019-10-17 09:54:58
285
转载 转：Spark RDD算子练习题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/qq_40825218/article/details/83720732给定数据如下：12 张三 25 男 chinese 5012 张三 25 男 math 6012 张三 25 男 english 7012 李四 20 男 ...
2019-10-17 09:50:45
752
转载 转：sparkRDD练习题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/weixin_41290471/article/details/83685335给定数据如下：班级ID 姓名 年龄 性别 科目 成绩12 张三 25 男 chinese 5012 张三 25 男 math 6012 张三 25 男...
2019-10-17 09:49:32
945
转载 转：SparkStreaming--小案例2对于爬虫来的数据进行分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/qq_42721694/article/details/85267653请注意本博客中代码头和尾是固定模式，而lines是需要根据你的数据特点进行切分和整理的，我会附上我的一部分数据供参考，附在文档末尾。1.统计某一时间段输入数据出现...
2019-10-17 09:47:37
372
转载 转：基于Spark的电影推荐系统（包含爬虫项目、web网站、后台管理系统以及spark推荐系统）
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/u011254180/article/details/80006453本次项目是基于大数据过滤引擎的电影推荐系统–“懂你”电影网站，包含了爬虫、电影网站（前端和后端）、后台管理系统以及推荐系统（Spark）。项目代码托管于github...
2019-10-17 09:45:48
3108
1
转载 转：spark的练习题（6）
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/qq_42721694/article/details/850015781.排序：定义三个文件对文件内容进行排序（数字）package com.hyxy.spark01import org.apache.spar...
2019-10-17 09:42:56
950
转载 转：Java8 lambda表达式10个示例
链接地址：https://www.cnblogs.com/coprince/p/8692972.html例1、用lambda表达式实现Runnable我开始使用Java 8时，首先做的就是使用lambda表达式替换匿名类，而实现Runnable接口是匿名类的最好示例。看一下Java 8之前的runnable实现方法，需要4行代码，而使用lambda表达式只需要一行代码。我们在这里做...
2019-09-20 11:00:53
181
转载 转：js---JSONP原理及使用
极简解释：利用<script>标签没有跨域限制的“漏洞”（历史遗迹啊）来达到与第三方通讯的目的。当需要通讯时，本站脚本创建一个<script>元素，地址指向第三方的API网址，形如：<script src="http://www.example.net/api?param1=1¶m2=2"></script>并提供一个回调...
2019-09-07 21:33:39
279
转载 转：springboot 异常java.net.BindException: Address already in use: bind
本文链接：https://blog.csdn.net/mcb520wf/article/details/79816123springboot 出现异常java.net.BindException: Address already in use: bind异常：Caused by: java.net.BindException: ...
2019-09-01 22:16:23
1091
转载 转：ECharts中的 formatter中的a,b,c,d等参数的意义
原文链接：ECharts中的 formatter中的a,b,c,d等参数的意义其中变量a、b、c在不同图表类型下代表数据含义为：折线（区域）图、柱状（条形）图: a（系列名称），b（类目值），c（数值）, d（无）散点图（气泡）图 : a（系列名称），b（数据名称），c（数值数组）, d（无）饼图、雷达图 : a（系列名称），b（数据项名称），c（数值）, d（百分比）弦图 : a...
2019-08-15 10:37:04
1672
转载 转：echarts图表x，y轴的设置
转自：https://www.cnblogs.com/cjh-strive/p/11065005.html 每到用echarts这门技术去画图的时候，我们大多人都是直接从echarts的官网的案例找相应的案例直接把代码复制到开发软件上基本随便一改就能使用，但是这种情况基本都是在练习的时候和项目开发没有必须要求的才能这样使用，但是在那种要求比较严格的项目开发，需要做echats...
2019-08-14 19:26:48
7495
转载 转：前端模块化，AMD与CMD的区别
在JavaScript发展初期就是为了实现简单的页面交互逻辑，寥寥数语即可；如今CPU、浏览器性能得到了极大的提升，很多页面逻辑迁移到了客户端（表单验证等），随着web2.0时代的到来，Ajax技术得到广泛应用，jQuery等前端库层出不穷，前端代码日益膨胀这时候JavaScript作为嵌入式的脚本语言的定位动摇了，JavaScript却没有为组织代码提供任何明显帮助，甚至没有类的概念，更不用...
2019-08-08 16:49:00
151
转载 转：Eclipse的Debug介绍与技巧
原文链接：http://www.hollischuang.com/archives/365?hmsr=toutiao.io\x26amp;utm_medium=toutiao.io\x26amp;utm_source=toutiao.io来自：Hollis（微信号：hollischuang）写在前面：由于最近手上项目新接入了两个中间件，在接入过程中遇到了很多问题，大部分问题都是由身边同事...
2019-08-08 16:08:15
211
转载 转：关于将ECharts引入到项目中的几种方式
方式一、在webpack中使用ECharts1、npm安装EChartsnpm install echarts --save2、引入ECharts通过 npm 上安装的 ECharts 和 zrender 会放在node_modules目录下。可以直接在项目代码中require('echarts')得到 ECharts。var echarts = require(...
2019-08-08 15:53:17
2051
转载 转：引用豆瓣图片，手机上不能显示
问题描述在做一个个人页面时，引用了豆瓣读书里面书籍封面图片。但是出现一个现象:在web端可以显示的图片，在手机上却不能正确的加载出来。原因豆瓣API请求是有限制的，约为每分钟40次，超过了这个次数就要被限制，限制为每分钟10次。所以，如果网页上引用了大量的豆瓣图片，那么，一次可能会加载出一些，但是加载不出来全部。特别是刷新之后，确定为同一源头发起的请求之后，大量的图片将请求不到。解...
2019-08-06 20:00:36
2348
转载 转：mysql出现ERROR1698(28000):Access denied for user root@localhost错误解决方法
转自：https://www.cnblogs.com/cpl9412290130/p/9583868.html真好使！我的操作系统是ubuntu18.04，以下是我的mysql版本：安装完成后，登录mysql的时候就出现了如下错误：因为安装的过程中没让设置密码，可能密码为空，但无论如何都进不去mysql。那么该怎么做呢，接下来就将这个解决方法总结记录一下。ste...
2019-08-05 17:41:16
176
转载 转：maven工程pom.xml报jdk.tools.jar找不到问题
转自：http://www.cnblogs.com/gaoxu007/p/7204827.html最近项目中使用到大数据平台，代码中应用了hbase-client.0.98.6-hadoop2.jar包，该包中引用了jdk.tools.1.7，所以导致eclipse中pom.xml老是提示Missing artifact jdk.tools:jdk.tools:jar:1.7。从网上找了一下原...
2019-06-28 08:20:42
1068
转载 转：解决Json传输中文乱码问题
1、如果是通过URL传递：----需要编码两次var searchText = this.searchText();searchText = encodeURI(searchText);searchText = encodeURI(searchText);$.ajax({type: 'GET',url: $ctx + this.pageUrl + pageIndex + "&...
2019-06-23 23:21:11
6153
转载 转：No 'Access-Control-Allow-Origin' header is present on the requested resource.'Ajax跨域访问解决方案
链接：https://blog.csdn.net/m_jack/article/details/80497617 一、什么是跨域访问 举个栗子：在A网站中，我们希望使用Ajax来获得B网站中的特定内容。如果A网站与B网站不在同一个域中，那么就出现了跨域访问问题。你可以理解为两个域名之间不能跨过域名来发送请求或者请求数据，否则就是不安全的。跨域访问违反了同源策略，同源...
2019-06-23 22:24:47
756
转载 转：教大家如何用HBuilder将web项目打包成apk
链接：https://www.jianshu.com/p/d86bf569295d将我们的web项目打包成一个apk文件并不难，首先准备好软件HBuilder还有你的项目，注意这里只献给那些不是真正的安卓开发却想把web打包成apk文件的老铁们看，接下来我们一步步看：QQ截图20180523231532.png打开HBuilder之后鼠标右键文件-新建-移动app然后会...
2019-06-23 20:22:34
5106
转载 转：npm 安装详细教程
转载：http://xiaoyaojones.blog.163.com/blog/static/28370125201351501113581/1、下载nodejswindows下的NodeJS安装是比较方便的（v0.6.0版本之后，支持windows native），只需要登陆官网（http://nodejs.org/），便可以看到首页的“INSTALL”按钮，直接点击就会自动下载安装了...
2019-06-23 13:25:29
1478
转载 转：将HTML5封装成android应用APK-ionic
链接：https://www.cnblogs.com/yunfly/p/5960378.html借鉴了网上很多的教程终于是把整个过程走通了，最主要的还是墙的问题....先是要搭建环境（每一步都要检查，确保安装正确）：1.安装 nodejs淘宝镜像： 1 npm install -g cnpm --registry=https://reg...
2019-06-23 12:09:51
837
转载 转：大数据项目实战之 --- 某某电子商务网站在线团购业务关键绩效指标KPI项目
链接：https://blog.csdn.net/xcvbxv01/article/details/84530526具体内容不粘贴了，到链接地址看吧，有好多内容！
2019-06-23 12:06:21
289
转载 转：大数据项目实战之 --- 用户画像项目分析
一、用户画像项目分析------------------------------------------------------- 1.概念 用户画像也叫用户信息标签化、客户信息。 根据用户的信息和行为动作，用一些标签把用户描绘出来，描绘的标签就是用户画像。 2.项目简介 通过手机安装的app，判断机主的年龄区间和性别 通过对...
2019-06-23 12:03:41
3382
转载 转：将HTML5封装成android应用APK文件的几种方法
https://www.cnblogs.com/kingboy2008/p/4465389.html越来越多的开发者热衷于使用html5+JavaScript开发移动Web App。不过，HTML5 Web APP的出现能否在未来取代移动应用，就目前来说，还是个未知数。一方面，用户在使用习惯上，不喜欢在浏览器上输入复杂的网址；另一方面，Html5 Web App 存放在服务器端，在每次使...
2019-06-23 11:45:04
8519
1
转载 转：HDFS研究----.Trash文件
删除文件示例与Linux下的rm命令不同，我们在删除HDFS文件时，都会有将该文件移动到回收站的提示，如下，hdfs@lyhadoop5:~$ hadoop fs -rm /user/hdfs/generic16/10/18 16:49:50 INFO fs.TrashPolicyDefault: Moved: 'hdfs://lyhadoop5:8020/user/hdfs/test....
2019-06-03 17:09:01
1007
转载 转：Namenode HA原理详解
原文：https://www.cnblogs.com/shenh062326/p/3870219.html社区hadoop2.2.0 release版本开始支持NameNode的HA，本文将详细描述NameNode HA内部的设计与实现。为什么要Namenode HA？1. NameNode High Availability即高可用。2. NameNode 很重要，...
2019-05-10 19:10:31
214
转载 转：hadoop的NAMENODE的管理机制，工作机制和DATANODE的工作原理
挺好的，链接如下：https://blog.csdn.net/Biexiansheng/article/details/77895157
2019-05-10 18:57:27
178
转载 转：hadoop：Secondary NameNode 它究竟有什么作用？
前言最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenode - What it really do?(需翻墙)才发现并不是这样。文章写的很通俗易懂，现将其翻译如下：Se...
2019-05-10 18:45:58
490
转载 转：Hadoop YARN 的 历史查看
链接地址：https://blog.csdn.net/qq_36291682/article/details/79438369
2019-05-10 16:36:14
628
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人