大数据
小木希望学园
计算机、数学、物理爱好者
展开
-
小木讲大数据-Spark高可用架构的搭建方法
Spark高可用架构的搭建方法大家好,我是小木,这次我主讲的内容是Spark的搭建方法,Spark作为大数据里面最有用的软件,我们是必定会用到的。首先,我们要在官方网站上面下载Spark的安装包,官方网址是:http://spark.apache.org/进入官网之后,我们发现好高大上! 我曾经说过,牛逼的人说牛逼的话,装逼的人做装逼的事儿。但是Spark他装B的话也说,牛批的事儿也做。你看网站上...原创 2018-06-20 23:56:41 · 474 阅读 · 0 评论 -
小木大数据-懒人包,一键启动kafka
程序如下:#!/bin/bashif [ $1 == 'start' ];then#把slave1 slave3 slave4换成你们自己安装kafka的机器名称或IP地址for host in slave1 slave3 slave4doecho "${host}:$1..."ssh $host "source #把/root/bigdata/kafka_2.11-0.8.2.2/bin/及/r...原创 2018-07-14 00:05:00 · 425 阅读 · 0 评论 -
小木大数据-懒人包,一键启动Spark
程序如下:#!/bin/bash#首先启动HDFS,把这个目录/root/hadoop/bin/换成你自己的hadoop启动程序#目录source /etc/profile;/root/hadoop/sbin/$1-dfs.shsleep 2#启动spark,把这个目录/root/bigdata/spark-2.2.0-bin-hadoop2.7/sbin/换成你#自己的spark启动程序目录so...原创 2018-07-14 00:04:42 · 353 阅读 · 0 评论 -
小木大数据-懒人包,一键启动Zookeeper
程序如下:#!/bin/bash#把slave2 slave5 slave6换成你们自己安装ZOOKEEPER的机器名称或IP地址for host in slave2 slave5 slave6doecho "${host}:$1..."#把/root/zookeeper-3.4.6/bin/zkServer.sh换成ZOOKEEPER的安装#目录,这里默认的是所有机器安装目录都是一样的ssh $...原创 2018-07-14 00:04:11 · 357 阅读 · 0 评论 -
小木大数据-redis安装机器部署
首先下载安装包,在官网:https://redis.io/1.上传安装包 slave6sftp> put -r G:/redis-3.2.11.tar.gz ~2.解压tar -zxvf redis-3.2.11.tar.gz -C /usr/local/src/ 3.进入到源码包中,编译并安装rediscd /usr/local/src/redis-3.2.11/yum ...原创 2018-07-17 23:09:12 · 286 阅读 · 0 评论 -
Exception authenticating MongoCredential解决方法
我们通过ideal编辑器编辑 springboot时候,出现这个错误:com.mongodb.MongoSecurityException: Exception authenticating MongoCredential这个问题说明一件事儿,我们连接数据库没有连接上,为什么连接不上呢,比如我们用mongoDB下面的一个database叫做xiaomu,但是我们的用户名密码是一个da...原创 2018-07-17 22:59:06 · 46585 阅读 · 4 评论 -
小木大数据-kafka安装及配置
kafka安装及配置大家好,今天我要给大家介绍一下kafka的安装及配置的方式。首先介绍一下什么叫kafka。Kafka是一个发布订阅消息系统,它的用途小木我理解的是,我们有一个温度传感器,然后kafka监控着这个传感器,它一有数据传过来,kafka就接收过来,接收之后把这个数据在放到SQL中或者进行数据分析。同时这个过程是实时动态的,有一个数据记录一个。具体kafka怎么安装和配置呢?现在我来说...原创 2018-07-11 21:52:09 · 717 阅读 · 0 评论 -
windows下调试hdfs时,没有权限解决办法
如果用idea编辑器,运行mapreduce或者spark等程序,如果出现:Permission denied: user=Adminis, access=WRITE, inode="/":root:supergroup:drwxr-xr-x这个原因是没有访问hdfs的权限,解决办法很简单:进入name node中的配置文件hdfs-site.xml中,在</configuration>...原创 2018-06-27 23:24:53 · 1664 阅读 · 0 评论 -
ERROR 2002 (HY000): Can’t connect to local MySQL server through socket 解决办法
故障描述:启动mysql 报错:ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (2)1.先查看mysql启动状态#/etc/rc.d/init.d/mysqld status2.mysql.sock位置查找与验证?# find / -name my...转载 2018-07-01 17:34:46 · 184967 阅读 · 14 评论 -
小木大数据-蒙特卡洛法求圆周率
我们配置好了spark和zk,下一步就是启动它们了,启动的方法是先把slave2,5,6的zk首先启动起来,然后到master这台机器上启动spark,最后到slave1上面启动备用的Spark-Master节点,从而实现高可用架构。接下来我来说一下什么叫做蒙特卡洛法,很简单,我们现在有一个变长为2的正方形,里面内嵌一个半径为1的圆: 我们把这个东西分为三部分,一部分是圆的内部,一部分是圆的外部且...原创 2018-06-21 22:11:43 · 845 阅读 · 0 评论 -
小木大数据-Zookeeper配置方法
Zookeeper配置方法很简单,我们还是按照之前讲解Spark的架构来 我们要在192.168.2.13(slave2)、192.168.2.16(Slave5)、192.168.2.17(Slave6)上面搭建Zookeeper(简称ZK)。首先我们在Zk的官网把ZK下载下来,其官网的网址是:https://zookeeper.apache.org/我们这次讲解所用的版本是:zookeeper...原创 2018-06-21 22:09:29 · 371 阅读 · 0 评论 -
微信小程序腾讯地图bindregionchange事件导致图标闪烁的解决方法
微信小程序中的腾讯地图,我们讲地图上放置一些图标,如共享单车的位置,如果我们在bindregionchange的函数中写入寻找图标位置的代码,我们启动后,或者移动地图的中心位置后,就会出现图标闪烁的现象,解决这个现象的方法为:例如我们写入的bindregionchange函数是: regionchange(e) { var that = this; if(e.type ...原创 2018-07-26 19:18:02 · 3203 阅读 · 7 评论