- 博客(17)
- 收藏
- 关注
RSS订阅原创 Spark 单机版（不依赖Hadoop）
Spark 单机版Spark 还久没有配置了，做个配置记录一下Spark 单机版，不依赖Hadoop，只需安装JDK，Scala。安装步骤Spark 单机版简介一、前期准备二、安装步骤1.环境依赖2.Spark 文件修改3.启动测试简介查看网上好多安装Spark的步骤都太长了，不够简约，再此做个简约的步骤记录一、前期准备我使用版本的是 ：jdk1.8.0_141scala-2.11.12spark-2.3.2-bin-hadoop2.7二、安装步骤1.环境依赖全部解压后在
2021-12-03 19:43:20
4632
3
原创 CentOS 没有分配 ip 问题的解决
CentOS 没有 IP安装的虚拟机是最小安装，启动后没有随机分配IP步骤CentOS 没有 IPip addr一、查看ens33网卡的配置二、修改ip addr一、查看ens33网卡的配置路径vi /etc/sysconfig/network-scripts/ifcfg-ens33从配置中可以发现 CentOS 7 默认是不启动网卡的（ONBOOT=no）二、修改把 no 改为 yes 保存退出刷新完工，最后记住关闭防火墙，有时候远程连接无法连接。1.SELinux（
2021-12-03 17:42:49
761
原创 第二章：Git 底层命令
目录Git 底层概念（底层命令）基础的 linux 命令底层命令Git 目录介绍Git 对象简介查看Git如何存储数据的简单的版本控制构建树对象树对象提交对象三个对象Git 底层概念（底层命令）基础的 linux 命令 1. clear ：清除屏幕 2. echo 'test content'：往控制台输出信息 echo 'test content' > test.txt 3. ll ：将当前目录下的 子文件&子目录平铺在控制台 4. find 目录名： 将对应目录下的子孙文件&a
2020-09-25 22:45:48
410
原创 第一章 ：Git 介绍
第一章 ：Git 介绍1：Git 简介 1.1：版本控制 什么是版本控制 ？ 我们为什么要关心它呢？版本控制是一种记录一个或若干文件内容变化，以便将来查阅特定版本修订情况的系统。 为什么要使用版本控制 ？ 软件开发中采用版本控制系统是个明智的选择。有了它你就可以将某个文件回溯到之前的状态，甚至将整个项目都回退到过去某个时间点的状态。就算你乱来一气把整个项目中的文件改的改删的删，你也照样可以轻松恢复到原先的样子。但额外增加的工作量却微乎其微。你可以比较文件的变化细节，查出最
2020-09-23 23:26:36
416
原创 OLE DB 错误: OLE DB 或 ODBC 错误 : 用户 'NT Service\MSSQLServerOLAPService' 登录失败。28000。
在vs上部署一个数据挖掘项目，报28000错误，百度了一下，只有文字描述，没有图片，感觉不是很好，在此我用图片解决一下打开Microsoft SQL Server Management Studio链接数据库引擎打开我的登录名下面没有NT Service\MSSQLServerOLAPService于是右击新建一个登录名，然后右击你新建的登录名找到属性，勾选你的数据库，和下面的db_datar...
2020-04-12 23:32:50
8810
9
原创 SQL Server 2017 Analysis Services 修改服务器模式类型
刚学习数据分析与数据挖掘，用的是SQLServer 2017，由于以前安装过，就没有重新安装，部署服务就出现问题了，无法部署此模型,因为 部署服务器不在多维模式下运行 百度了一下，是因为使用的Analysis Services服务类型是表格型，不是多维型；如果不清楚安装是是什么类型，可以使用Microsoft SQL Server Management Studio 进行连接连接时间会比较慢，...
2020-04-12 23:18:04
4633
17
原创 Python数据数理
今天做了一个使用Python处理数据的小Demo我使用的是mysql，先看一下数据库信息学生信息表班级专业表3. 使用的Python库有pandas，numpy，首先先看一下要求：使用的Python库有pandas，numpy，首先先看一下要求：1、使用Python读取数据，添加专业信息。2、对为空的数据填充为60分。3、处理异常数据，小于0的修改为0，大于100的修改为10...
2020-04-04 22:30:49
169
原创 Kettle 运行SQL语句：Error：OPTION SQL SELECT LIMIT=DEFAULT
在做kettle关于mysql的查询和输入，报错好像是驱动的问题，当时用的驱动为5.1.8，kettle为8.2版本，由于当前kettle还没有兼容驱动8版本，只有用5点几的版本，在maven仓库找到了一个5.1.47版本，试了一下，完美运行。...
2020-03-06 23:15:20
326
原创 Nginx启动报错
./nginx: error while loading shared libraries: libfdfsclient.so: cannot open shared object file: No such file or directorynginx安装成功，在启动后就报可以上的错误，很不想看到 error，百度了一下按照这个，相同报错，但不适合我的问题，无奈，说是需要创建一个连接，但是我的...
2020-03-02 12:53:34
452
原创 Kettle启动报错：Error : could not open "...../jvm.cfg"
最近需要使用kettle，这款软件是一款绿色软件，无需安装，官网地址点击，都知道官网下载忒慢，用国内镜像下载点击，解压后找到Spoon.bat文件打开即可使用，如果是Linux下的话启动spoon.sh文件即可；准备好了，打开时报错网上说jdk配置有误，但是doc 窗口却没问题：我的jdk是默认安装路径，在C盘，网上好多方法都不行，最后把kettle移到jdk目录下，启动正常...
2020-02-24 09:18:55
960
1
原创 hive表锁
今天处理数据，删除表的时候就卡死，网上教程说编码问题，和重新创建数据源，毕竟我的hive里面与数据，小白一个，hive有几十万条数据还没有处理，不敢乱整，不敢动，看到了一个和我的问题差不多的帖子，链接终于解决了，还是要感谢这位兄弟；过程如下：查看表锁hive>show locks;好家伙，全部带锁，接下来找到mysql 下的hive数据库里面有一个hive_locks表，重点来了，...
2020-01-02 23:05:21
566
2
原创 zookeeper下载和安装教程
安装zookeeper的地址点击下载自己需要的版本我这里下载的还zookeeper-3.5.5的版本，下载好后可以通过别的方式上传到虚拟机；然后解压:tarv -zxvf apache-zookeeper-3.5.5-bin.tar.gz进入conf目录下拷贝zoo_sample.cfg文件命名为zoo.cfg;然后写入接下来配置环境变量vi ~/.bashrcsouce ~/.b...
2019-10-31 09:01:47
594
1
原创 关于启动hive失败，name node is in safe mode
(name node is in safe mode) 进入安全模式，可见启动hive是创建文件失败，此时的name node 在安全模式下只能够查看数据，不能进行操作，之所以会进入安全模式，是因为NameNode的集群中DataNode丢失文件，达到比例（0.01%）时会进入安全模式，文件丢失可能是因为系统断电，内存不足等原因输入命令hadoop dfsadmin -safemode lea...
2019-10-22 16:29:06
1522
2
原创 Ubuntu16.04.6下离线安装MySQL8.0版本
首先先去官网下载linux版本的mysql；mysql官网下载地址按图选择，我的是Ubuntu16.04.6的。然后通过U盘；xftp等方式把压缩包上传到虚拟机内，然后解压然后依次安装文件sudo dpkg -i mysql-community-client-core_8.0.18-1ubuntu16.04_amd64.debsudo dpkg -i mysql-common_8...
2019-10-22 14:41:36
1725
原创 关于idea连接虚拟机内Hadoop连接不上问题
虚拟机内hadoop装好后在虚拟机内上传文件正常，到到window里面用idea连接总是报错，连接被拒绝，弄了好长时间都没没弄好，看了一个帖子，把hdfs-site.xml;core-site.xml;mapred-site.xml文件的IP全部改成linux的IP，有可能改完后你的DataNode可能会启动不起来，找到你设定的temp文件，删除，最好重启一下，我的就是启动不练了，重启后能够启动。...
2019-09-29 21:39:13
2535
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人