大数据
文章平均质量分 63
坚持,再坚持一下
一起努力!
展开
-
安装redis(win7+集群安装)
一、安装win7版本1.下载redisgithub下载地址:https://github.com/MicrosoftArchive/redis/releases网盘下载地址:链接:https://pan.baidu.com/s/15NtjKtc_5t37azTTmQqsvQ 提取码:p8le2.将文件进行解压解压完成后的文件如下图所示:3.(1)点击文件夹内redis-serve...原创 2018-11-02 21:11:48 · 1027 阅读 · 0 评论 -
struct streaming自定义MysqlSink组件
1.项目所用jar包<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql-kafka-0-10_2.11</artifactId> <version>${spark.version}</versi...原创 2019-06-27 16:39:17 · 417 阅读 · 0 评论 -
Struct Streaming的流-流连接
流 - 流连接的案例:广告货币化想象一下,您有两个流 - 一个广告展示流(即,向用户显示广告时)和另一个广告点击流(即,当用户点击显示的广告时)。要通过广告获利,您必须匹配导致点击的广告展示。换句话说,您需要根据公共密钥加入这些流,公共密钥是两个流的事件中存在的每个广告的唯一标识符。在高级别,问题如下所示。虽然这在概念上是一个简单的想法,但仍有一些核心技术挑战需要克服。使用缓冲处理延迟/延...转载 2019-06-27 16:30:35 · 1192 阅读 · 0 评论 -
安装spark集群
1.下载spark1.1进入Apache spark 下载页面 https://archive.apache.org/dist/spark/选择需要的版本号以2.2.0为例,由于已经安装过hadoop、所以我们下载hadoop-2.6版本的spark1.2需要安装的环境JDK 1.8.0hadoop 2.6.0scala 2.11.0spark 2.2.0注意:从2.0版开始...原创 2018-12-19 14:05:45 · 156 阅读 · 0 评论 -
聚类分析(三) 层次聚类及matlab程序
1.层次聚类介绍2.matlab程序原创 2018-11-19 22:54:51 · 22883 阅读 · 2 评论 -
修改移植后liunx网卡配置
1、 首先进入原系统,使用命令查看网卡信息ifconfig会发现找不到eth0网卡信息2.修改配置vi /etc/sysconfig/network-scripts/ifcfg-eth0修改配置信息:将onboot改为yes3.修改配置网卡vi /etc/udev/rules.d/70-persistent-net.rules将前边的网卡注释掉,更改最后一个网卡为eth0r...原创 2018-11-21 15:14:32 · 142 阅读 · 0 评论 -
安装Scala环境
一、win7环境安装1.安装jdk下载jdk,网盘地址:链接:https://pan.baidu.com/s/1KSwEl4JkhjNllMp28mqMqQ提取码:jqvp直接双击,安装到想要的环境目录2.修改环境变量2.1新建系统变量 JAVA_HOME 输入jdk安装目录2.2 修改PATH修改PATH:%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;...原创 2018-11-21 12:49:53 · 426 阅读 · 0 评论 -
解决IDEA安装插件Plugin 'Scala' is incompatible with this installation
今天从硬盘安装idea -Scala插件时,报如下错误:Plugin 'Scala' is incompatible with this installation这个问题主要是因为idea版本与插件版本不一致导致。1.查看idea版本关闭所有工程,进入初始界面看到我们所安装的idea的版本信息2.查看插件信息这里就很明显了,插件版本太新,导致idea并不能成功安装3.替换...原创 2018-11-21 11:49:43 · 4063 阅读 · 0 评论 -
聚类外部评价指标(F-Measure、Entropy、Purity)及matlab实现
本文参考:1.https://www.cnblogs.com/zhangduo/p/4504879.html2.https://blog.csdn.net/vernice/article/details/46467449?utm_source=blogxgwz8一、简介介绍聚类中的外部评价指标如下图:其中上图中的Ni(i=1…k)表示所使用方法聚类之后K类具有的个数,Nj表示K类中的标...原创 2018-11-20 18:42:53 · 17039 阅读 · 26 评论 -
利用虚拟机快速搭建大数据学习平台
1.环境准备win7、wmware、centos镜像2.虚拟机镜像配置及其选择3.安装centos原创 2018-11-16 16:53:46 · 1648 阅读 · 3 评论 -
hive安装完成后show databases报错
hive完成安装后,使用mysql命令show databases报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.Ses...原创 2019-07-18 16:08:56 · 4499 阅读 · 1 评论