哒哒卡-CSDN博客

原创集群模式下Zookeeper报错“Error contacting service. It is probably not running”的解决办法

执行： zkServer.sh status 报如下错误：ZooKeeper JMX enabled by defaultUsing config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfgError contacting service. It is probably not running.这是由于你的zookeeper数据目录下有历史生成的文件等数据，需删除。解决办法：删除你配置文件内dataDir目录下除myid以外的所有文件（每

2021-03-30 19:16:01 459

原创 Did not find winutils.exe: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME

报错： Did not find winutils.exe: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME，虽然部分代码仍不影像其运行，但建议处理掉该问题，防止项目中调用出现问题。原因主要有：由于windows环境上没有安装hadoop或者是在haooop的bin目录下缺少winutils.exe文件导致。解决办法–只需要在windows上配置一下hadoop，然后把winutils.exe文件放到h

2021-03-25 14:07:37 9247

原创 Windows：IDEA配置Maven、Hadoop详细教程

1.配置Maven1）打开IDEA：File–>Settings,*注意Settings.xml文件配置：仓库地址：python<localRepository>D:\software\repository</localRepository>阿里云镜像：<mirror> <id>alimaven</id> <name>aliyun maven</name> <url

2021-03-25 13:24:53 3901 1

原创加载Bi-LSTM+CRF模型，报错 AttributeError: ‘str‘ object has no attribute ‘decode‘

加载Bi-LSTM+CRF模型，报错 AttributeError: ‘str‘ object has no attribute ‘decode‘h5py模块版本过高：pip uninstall h5py然后利用:pip install --user h5py==2.10.0加–user是为了权限问题

2020-11-30 19:41:09 456

原创 tensorflow2.3.1导入mnist数据集，报错No module named ‘tensorflow.examples.tutorials.mnist‘

自己下载、准备好两个数据：tutorials（https://share.weiyun.com/ivvWtHmV）、数据集（http://yann.lecun.com/exdb/mnist/）1.安装好tensorflow2.3.1后，存在目录如图：位于Lib\site-packages文件夹下：2.将下载好的tutorials数据复制进Lib\site-packages\tensorflow\examples，得到：3.新建MNIST_data文件夹4.然后将数据集拷贝进Lib\site-p

2020-10-22 14:38:47 3816 5

原创 Map-Reduce优缺点

优点MapReduce 易于编程 :它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变得非常流行。良好的扩展性 :当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。高容错性 :MapReduce设计的初衷就是使程序能够部署在廉价的PC机器上，这就要求它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务转移到

2020-09-07 11:22:53 594

原创 Flip fluid的_stepFluid()

时间步长void FluidSimulation::_stepFluid(double dt) { if (!_isSkippedFrame) { //生成更新障碍对象线程 //04-Sep-2020 14h58m32s BEGIN Update Obstacle Objects //04-Sep-2020 14h58m33s COMPLETE Update Obstacle Objects _launchUpdateObst

2020-09-04 16:28:18 226

原创完整Hadoop伪分布式搭建，明确配置文件修改

1. 运行环境配置通过Xftp、Winscp等将Hadoop jar包上传上传至虚拟机，执行tar -zxvf jar_name -C 指定安装目录（ps:Hadoop安装前应安装好java）1.关闭防火墙关闭防火墙：systemctl stop firewalld.service禁用防火墙：systemctl disable firewalld.service查看防火墙：systemctl status firewalld.service2.修改IPa.配置ipvi /etc/sysc

2020-08-27 11:16:14 716

原创 MapReduce开发总结

MapReduce优缺点优点1.MapReduce易于编程；2.良好的扩展性；3.高容错性；4.适合PB级的数据的离线处理；缺点1.不擅长做实时计算、流式计算、DAG计算MapReduce核心思想分布式的运算程序往往需要分成至少2个阶段；第一个阶段的maptask并发实例，完全并行运行，互不相干；第二个阶段的reduce task并发实例互不相干，但是他们的数据依赖于上一...

2019-09-11 15:58:27 128

原创 Spark的全分布模式配置

Spark的全分布模式配置主要涉及两个配置文件：spark-env.sh 与 slaves首先需要将安装包解压后的/conf目录下的spark-env.sh.template与slaves.template分别改为spark-env.sh与slaves接下来开始配置全分布模式首先vi spark-env.sh，在末尾添加如下配置参数#配置JDK位置export JAVA_HOME=/o...

2019-06-17 13:53:42 201

原创 scala的模式匹配

Scala的模式匹配主要关键字为：match和case匹配变量var str:String = "Hello World"str(7) match{ case 'a' =>println("This is a") case 'b' =>println("This is b") case 'W' =>println("This is W") // _表示其他情况 ...

2019-06-12 22:01:24 396

原创 Scala的trait

Scala的特质（即Java中的抽象类），用trait关键字，支持多继承trait Human{ val id:Int val name :String def sayHello()="Hello :" + name}trait Actions{ def getActions():String}//子类多重继承用with关键字class Student (val i...

2019-06-10 22:23:44 134

qq_42185397的博客