Spark2.1.0集群安装 1. 安装Spark之前需要安装Java环境和Hadoop环境和Scala环境。 需要准备三台虚拟机 192.168.230.31 vm1 192.168.230.32 vm2 192.168.230.32 vm32. 安装Spark依赖的Scala,因为Spark依赖scala,所以在安装Spark之前,这里要先安装scala。在每个节点上都进行安装。a)下载和解压缩Scala,打开地址:http://www.scala-lang.org/直接打开下...
centos7安装zookeeper集群 1.官网下载地址http://zookeeper.apache.org/releases.html#download也可以在百度网盘上下载百度网盘 请输入提取码 提取码:1801下载版本为3.4.92.准备三台虚拟机192.168.230.31 vm1192.168.230.32 vm2192.168.230.33 vm33.将下载的压缩包zookeeper-3.4.9.tar.gz上传到192.168.230.31的/opt目录下,并解压tar -zxvfzook.
Centos7安装mongodb 1.从mongodb官网获取mongodb的下载地址、下载地址为:MongoDB Community Download | MongoDB,根据自己的安装环境选择对应的版本、Centos7的环境,选择的版本如下:2.将下载下来的上传到centos7系统的/opt目录下,并tar -zxvfmongodb-linux-x86_64-rhel70-3.6.23.tgz解压3.配置环境变量,方便后续的命令行操作:export PATH=$PATH:/opt/mongodb-...
IP地址和子网划分 转自https://blog.51cto.com/u_6930123/2112703 https://blog.51cto.com/u_6930123/2112448 https://blog.51cto.com/u_6930123/2113151 https://blog.51cto.com/u_6930123/2115072一、IP地址和MAC地址1、MAC地址MAC(Media Access Control,介质访问控制)地址,或称为物理地址...
Kafka命令(0.9.0.1) Kafka命令(0.9.0.1)创建topicsh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test20200701查看topic命令sh kafka-topics.sh --list --zookeeper localhost:2181删除topic命令上面的输出仅仅表示该 topic 被成功地标记为“待删除”,至于 t.
Java 根据补码、源码求原来的数 /** * Created by Knuth on 2019/9/5. * 2字节16进制数 */public class Test9 { public static void main(String[] args) { Test9 test9 = new Test9(); int a = test9.getComplementCode2("FBC...
influxdb版本升级 服务重启:systemctl stop influxdbsystemctl start influxdb下载:wget et https://dl.influxdata.com/influxdb/releases/influxdb-1.7.7.x86_64.rpm备份:influxd backup -host st 127.0.0.1:8088 -po -portable -datab...
git上传文件操作 登录git,创建项目名称,例如jt-webservice 来到需要上传的文件目录下,例如D:/xiot-webservice 空白处右击打开对话框,选择Git Bash Here,进入git bash窗口4.上传操作$git init $git add . git commit -m "first commit"这个操作可能会报错解决方法:$ git config...
kafka里面的topic消费情况查看 kafka里面的topic消费情况查看1.进入zookeeper的客户端界面:./zkCli.sh(在zookeeper目录的bin下)查看目录:ls /consumers2.kafka的bin目录下执行:./kafka-consumer-groups.sh --describe --group xiothub_jtm2m_rawdata_210_xgit_m2m_jt_...
CentOS 查看系统 CPU 个数、核心数、线程数 CentOS 查看系统 CPU 个数、核心数、线程数1、查看 CPU物理个数 grep 'physical id' /proc/cpuinfo | sort -u | wc -l2、查看 CPU核心数量 grep 'core id' /proc/cpuinfo | sort -u | wc -l3、查看 CPU线程数 grep 'processor' /proc/c...
Java 版本对应的major.minor version The issue is because of Java version mismatch. Referring to theWikipedia Java Class Reference:J2SE 9 = 53 J2SE 8 = 52 J2SE 7 = 51 J2SE 6.0 = 50 J2SE 5.0 = 49 JDK 1.4 = 48 JDK 1.3 = 47 JDK 1....
高德地图纠偏 public class GisPointConversionUtil { private static final double x_pi = 52.35987755982988D; private static final double pi = 3.141592653589793D; private static final double a = 6378245....
经纬度小数点后与精确到米的误差 赤道周长(米) 度数(度) 40076000 360 111322.2222 1 11132.22222 0.1 1113.222222 0.01 111.3222222 0.001 11.13222222 0.0001 1.113222222 0.00001 0.111322222 0.000...
Azkban上传文件报错installation Failed.Error chunking 关于azkaban上传job压缩包报错问题的解决方案在azkaban上传job压缩包如果出现installation Failed Error Chunking错误,可通过如下方法解决。在mysql查询器中输入如下语句set global max_allowed_packet=1073741824;NOTE: Set the maximum to the largest ...
Centos7 rpm安装telnet Centos7 rpm安装telnet1.下载安装包 2.安装telnet相关[root@vm1 telnet]# rpm -ivh xinetd-2.3.14-39.el6_4.x86_64.rpm[root@vm1 telnet]# rpm -ivh telnet-0.17-47.el6.x86_64.rpm[root@vm1 telnet]# rpm -ivh tel...
小学数学-两个瓶子倒水问题(Java实现) import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;public class TestWater { //规定规定m为大杯子的容量,m为小杯子的容量,c为要倒出来水的容量,且 //c不等于m或者m public String getWate...
无监督学习 1.无监督学习的一个主要挑战就是评估算法是否学到了有用的东西,通常来说,评估无监督算法结果的唯一方法就是人工检查2.无监督算法通常可用于探索性的目的,而不是作为大型自动化系统的一部分。无监督算法的另一个常见应用是作为监督算法的预处理步骤3.在无监督学习中,我们基本上不知道结果会是什么样子,但我们可以通过聚类的方式从数据中提取一个特殊的结构。在无监督学习中给定的数据是和监督学习中给定的数据是...
python神经网络解决手写识别问题算法和代码 1.算法2.代码import numpy# scipy.special for the sigmoid function expit()import scipy.special# library for plotting arraysimport matplotlib.pyplot# ensure the plots are inside this notebook, no...
Linux下Azkaban2.5.0安装 1.下载Azkaban相关安装包用unzip 和tar –zxvf 分别解压。2. 系统时区设置查看时区或者timedatectlstatus命令查看修改时区时区文件都在/usr/share/zoneinfo,复制相应时区覆盖/etc/localtime即可[hadoop@master ~]$ ll /usr/share/zoneinfo例如...