- 博客(130)
- 收藏
- 关注
RSS订阅转载 <console>:14: error: not found: value spark import spark.implicits.
启动./spark-shell出现问题启动 hadoop,并创建，解决hadoop fs -mkdir /directory 解决了 转载于:https://www.cnblogs.com/Jomini/p/11610404.html...
2019-09-29 22:46:00
1384
转载 spark 配置
1、mv slaves.template slavesslaves 文件添加hadoop.slave01hadoop.slave02hadoop.slave03 2、cp spark-env.sh.template spark-env.sh spark-env.sh 文件添加SPARK_MASTER_HOST=...
2019-09-29 20:09:00
176
转载 centos7 扩容
用 df -h, 看到磁盘满了fdisk /dev/sda 但是失败了，显示没有多余的分区可以看到 有个/dev/sda4 是我在这之前刚刚错误设置的，要删除这个分区 再继续挂载扩容 再查看，可以看到暂时没变，w 保存 ...
2019-09-29 18:10:00
204
转载 idea 配置 scala
在setting 中，通过plugin 安装 Scala然后重启idea重启后，建一个scala文件，根据上面提示安装scala转载于:https://www.cnblogs.com/Jomini/p/11597822.html...
2019-09-27 14:30:00
151
转载 Error contacting service. It is probably not running.
查看zookeeper状态出错# ./zkServer.sh status 爆出错误ZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper/zookeeper-3.4.10/bin/../conf/zoo.cfgError contacting service. It is p...
2019-09-15 21:10:00
99
转载 ipc.Client: Retrying connect to server: .../10.0.0.27:10020. Already tried 6 time(s); retry policy i...
运行 时候爆出这个错Exception in thread "main" java.io.IOException: java.net.ConnectException: Call From hadoop.slave01/192.168.121.133 to 0.0.0.0:10020 failed on connection exception: java.net.Connect...
2019-09-14 13:18:00
421
转载 hadoop安装配置
core-site.xml : 指定HDFS中Name的地址<property> <name>fs.defaultFS</name> <value>hdfs://hadoop.master:9000</value></property><property&g...
2019-09-14 13:14:00
85
转载 WordCount-JAVA版
WordCountMapperimport java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.ma...
2019-09-04 23:43:00
88
转载 scp、rsync、xsync
scp、 拷贝完全相同scp -r etc/hadoop/dfs.hosts root@192.168.121.134:/usr/local/hadoop/hadoop-2.7.6/etc/hadoop/ rsync、拷贝有差异的文件rsync -rvl etc/hadoop/hdfs-site.xml root@192.168.121.136:/...
2019-09-01 20:50:00
165
转载 Exception in createBlockOutputStream
Exception in createBlockOutputStream 出现这个问题，可能是端口没打开，把异常往下拉，就可以看到哪个端口，在centos 打开端口转载于:https://www.cnblogs.com/Jomini/p/11438549.html...
2019-08-31 12:12:00
1620
转载 windows上传文件到 linux的hdfs
一、windows上传文件到 linux的hdfs1、先在 centos 上开启 hdfs, 用 jps 可以看到下面信息， 说明完成开启 2、在win上配置 hadoop (https://www.cnblogs.com/Jomini/p/11432484.html) 后， 要在 hadoop 的 bin 文件上放以下两个文件（网上找下载），...
2019-08-31 09:35:00
1179
转载 win10 配置 hadoop-2.7.2
win10 配置 hadoop-2.7.21、下载 先在http://acrchive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 2、解压配置 解压到目录下，在高级系统设置中设置环境变量 配置完成，在c...
2019-08-29 22:44:00
428
转载 hadoop 源码编译
hadoop 源码编译1、准备jar 1) hadoop-2.7.2-src.tar.gz 2) jdk-8u144-linux-x64.tar.gz 3) apach-ant-1.9.9-bin.tar.gz 4) apache-maven-3.0.5-bin.tar.gz 5) protobuf-2.5.0.t...
2019-08-25 17:04:00
86
转载 dateNode 启动不了
dateNode 启动不了进去路径中找到 name和data文件夹，current下面分别有 一个 version文件，打开发现两个clusterId都不一样把name和data文件里面的version下的clusterId都换成一样的，再重启一遍转载于:https://www.cnblogs.com/Jomini/p/11407674.html...
2019-08-25 13:30:00
326
转载 HDFS
HDFS 概念1、概念 1.1、 HDFS - Hadoop File distributed filesystem， HDFS以流式数据访问模式来存储超大文件。 1.2、 HDFS 以块的方式存储数据。 HDFS 集群有两类节点的模式运行，一类是namenode 用来管理节点，一类是工作节点datanode用来工作...
2019-08-17 17:11:00
50
转载 决策树 - 机器学习
决策树 在这里决策树就是，通过事物的特征，判断一个事物是否属于一个分类的算法。 比如，通过下面的一组数据通过条件 “不浮出水面是否可以生存” 和 “是否有脚蹼” 来判读是否是鱼的例子 不浮出水面是否可以生存 是否有脚蹼 属于鱼类1 是 是 ...
2019-08-04 17:41:00
76
转载 hdfs.server.datanode.DataNode: Block pool ID needed, but service not yet registered with NN
启动hadoop 发现 50070 的 livenode 数量是 0 查看日志，hdfs.server.datanode.DataNode: Block pool ID needed, but service not yet registered with NN 删除 dfs 的 data, 因为里 current 文件da...
2019-05-26 17:39:00
1658
转载 swagger 配置- ssm
swagger 配置 - ssm swagger 是一个用来看接口的工具，具体效果如下，这里用的是swagger2 1、porm.xml<dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</ar...
2019-05-14 09:04:00
351
转载 Checkout 显示 URL /../../.. 不存在
Checkout 显示 URL /../../.. 不存在 Checkout 显示 URL /../../.. 不存在 如果库的路径是svn库的路径为：/usr/local/svn/test/ 启动不能用svnserve -d -r /usr/local/svn/test 要用svnserve ...
2019-05-10 00:46:00
180
转载 Tomcat8 访问 manager App 失败
Tomcat8 访问 manager App 失败 进入 tomcat 8 的下面路径 修改 上面 的 context.xml 注释了下面的框框 保存退出。重启tomcat转载于:https://www.cnblogs.com/Jomini/p/1083...
2019-05-08 16:13:00
2107
转载 Linux 换 jdk 版本 环境没有生效
Linux 换 jdk 版本 环境没有生效 把 jdk 1.7 换成 1.8, 路径设置好了后 用了下面两个都没有生效. /etc/profilesource ~/.bashrc 还是 jdk 1.7 把原来的jdk版本 删除了 再用一遍source ~/.bashrc...
2019-05-08 15:46:00
225
转载 用 tomcat 部署 Jenkins
在tomcat 下面部署 Jenkins 版本 tomcat (7.0.94) + jdk (7) + jenkins (2.46.3) 前两次没有部署成功，应该是 jdk 版本的问题， 如果不成功，换几个版本试试。之前下载最新版本失败，换了旧的版本。 上官网https://jenkins.io/download/, 或者百度搜进入官网。选下...
2019-05-07 23:47:00
85
转载 访问阿里云 vue项目的 127.0.0.1:+ip
vue 127.0.0.1 将 localhost 改为 0.0.0.0 原理看下面链接参考：https://www.cnblogs.com/sddai/p/9281189.html转载于:https://www.cnblogs.com/Jomini/p/10816598.html...
2019-05-05 23:32:00
258
转载 Module build failed: Error: Cannot find module 'node-sass'
安装npm 遇到Module build failed: Error: Cannot find module 'node-sass' 这次通过重装 npm 完成 先卸载npmnpm uninstall npm -g 再删除所有组件yum remove nodejs npm -y ...
2019-05-05 21:02:00
484
转载 修改 nginx 默认端口
修改 nginx 默认端口 nginx 解压目录下的 conf 目录下的 nginx.conf 修改对应端口 转载于:https://www.cnblogs.com/Jomini/p/10796900.html...
2019-04-30 16:41:00
278
转载 Tomcat 改端口
Tomcat 改端口 进入 tomcat 解压包下面的 conf 目录 打开文件 server.xml 找到以下 三处位置，并改为对应端口 1）找到 8005<Server port="8005" shutdown="SHUTDOWN"> 改为 8006<Server port="8006" s...
2019-04-29 16:53:00
95
转载 Centos 上部署 tomcat7
在 Centos 上部署 tomcat7 搜索tomcat，选下面红色框框的官网 选箭头指着的版本7， 选 tar.gz 格式， 下载完压缩包，使用 ftpx 工具，放在 centos 的 /opt/tomcat 文件下面，使用下面命令解压，版本改为对应版本tar ...
2019-04-29 10:13:00
74
转载 Tomcat关闭失败，SEVERE: Could not contact localhost:8005. Tomcat may not be running.
SEVERE: Could not contact localhost:8005. Tomcat may not be running. Tomcat 启动后，关闭失败，显示以下 进入 java 的安装目目录下的 jdk/jre/lib/security 目录 修改 “java.security” 文件...
2019-04-29 09:40:00
1381
转载 ‘Host’ is not allowed to connect to this mysql server
‘Host’ is not allowed to connect to this mysql server mysql 数据库不允许远程连接方法一：修改 host 表 进入mysql数据库，选择mysqlmysql> use mysql; 选择 host 表mysql> select host f...
2019-04-22 15:13:00
86
转载 centos7安装mysql
centos7安装mysql 进入目录#cd /usr/local/src/ 安装mysql#wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm#rpm -ivh mysql57-community-release-el7-8.noar...
2019-04-22 13:52:00
44
转载 further configuration avilable 不见了
Dynameic Web Module的further configuration avilable 不见了 打开目录下的 org.eclipse.wst.common.project.facet.core,xml 先备份，再删了框框那行，保存 重新打开 eclipse, 有了 转载于:ht...
2019-04-15 13:15:00
131
转载 Dynamic Web Module 3.0 requires Java 1.6 or newer
Dynamic Web Module 3.0 requires Java 1.6 or newer 新建 maven 工程， Marker 出现这个问题 在 porm.xml 里面复制粘贴以下 <build> <plugins> <!-- def...
2019-04-15 10:58:00
128
转载 hadoop启动 datanode的live node为0
hadoop启动 datanode的live node为0 浏览器访问主节点50070端口，发现 Data Node 的 Live Node 为 0 查看子节点的日志 看到 可能是无法访问到主节点的9000端口 使用telnet访问一下主节的9000端口#...
2019-04-14 14:29:00
539
转载 ssh远程访问失败 Centos7
ssh远程访问失败 Centos7 命令ssh远程访问另外一台主机hadoop.master失败#ssh hadoop.master 报以下信息[root@hadoop ~]# ssh hadoop.master@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@...
2019-04-08 22:09:00
123
转载 Linux 下的各种环境安装
Linux 下的各种环境安装1、安装 python Centos7 安装 python 2.7 :https://www.cnblogs.com/Jomini/p/10507077.html2、安装 scrapy Centos7 安装 scrapy （python2.7）:https://www.cnblogs.com/Jomini/p...
2019-03-31 21:43:00
75
转载 安装scala
Linux 环境 安装 下载的scala linux 压缩包放在目录 "/usr/scala “下 解压tar -zxvf scala-2.11.8.tgz 再配置环境,编辑文件 ”vi /etc/profile“vi /etc/profile 在该文件中加入环境变量，保存退出export SCALA_H...
2019-03-31 19:34:00
59
转载 Centos7 安装 jdk 1.8
Centos7 安装 jdk 1.81、下载安装包 链接： https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2、进入usr 目录 创建 java 文件cd /usrmkdir java 使用将下载的 jdk 1...
2019-03-17 23:06:00
58
转载 Centos7 设置vim 显示文本不同颜色
Centos7 设置vim 显示文本不同颜色 本人在查找设置 centos7 vim 文本显示颜色时， 学习了作者: luffy5459 (博客连接：https://blog.csdn.net/feinifi/article/details/82628636) 的博客，完成设置vim文本不同颜色。 步骤整理如下：1、先用以下命令安装 vim 的包#y...
2019-03-14 22:09:00
941
转载 ModuleNotFoundError: No module named '_sqlite3' -- python2.7 问题
ModuleNotFoundError: No module named '_sqlite3' 运行python 工程出现上面这个问题，以为python安装中缺少这个依赖, 注python 2.7 首先，运行下面命令，安装 sqlite-develyum install sqlite-devel 安装完后，要重新编译 pyt...
2019-03-13 22:55:00
214
转载 Centos7 安装 tree
Centos7 安装 tree用命令 yum 安装 treeyum -y install tree 转载于:https://www.cnblogs.com/Jomini/p/10513817.html
2019-03-11 22:58:00
476
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人