- 博客(15)
- 收藏
- 关注
RSS订阅原创 Hadoop伪分布搭建，以及简单使用命令
首先要有一个linux还要有一个普通的用户cd /opt/ 切换到这个目录下1、创建如下两个目录sudo mkdir softwaressudo mkdir modules2、修改文件夹的用户，因为上面使用root用户创建的文件夹sudo chown tang:tang softwares/sudo chown tang:tang modules/3、使用xftp上传下载的Hadoop文件到目录softwares下4、解压Hadoop文件到m...
2020-09-07 23:15:08
500
原创 大数据入门学习路线
作为今年刚毕业的学生，我认为我有很多关于大数据学习心得想要和大家分享。大数据学什么?想起之前自己大三选择专业方向的时候，其实根本不清楚大数据这个方向毕业以后到底可以做些什么，只是当时周围的人都告诉我，大数据很火热，很挣钱，然后就茫然的选择了大数据方向。选完之后，我也不知道自己应该从哪里开始学习，需要学些什么。学校开设的大数据相关的课程有：数据挖掘，Hadoop，机器学习... ememem.....好像就这几门和大数据有关的课程吧，我也不太记得了，因为学校的课程我都不听的，除了大一有认...
2020-09-06 21:32:55
184
原创 启动bin/hive 命令，界面一直停在SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
之前学习的时候安装的Hive 但是很久没有使用今天启动的时候，就发现界面一直停在SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]经过一番百度之后，说因为没有正常启动Hive 的 Metastore Server服务进程。然后我就启动命令：bin/hive --service metastore然后发现还是停在这个界面SLF4J: Actual binding is of type [org.s..
2020-09-05 13:42:38
8503
1
原创 SQL 数据库 如何实现第一行字段A减字段B得到值C，然后再用C减去第二行字段B
SQL 数据库 如何实现第一行字段A减字段B得到值C，然后再用C减去第二行字段B现在是需要现第一行字段A减字段B得到值C，然后再用C减去第二行字段B即这样的效果：实现思路：做一个累计变量：这样我们就可以直接使用字段A减去累计字段B 就可以得到我们想要的效果了SQL实现：...
2020-09-05 00:37:01
2792
2
原创 SQL-剔除周六日，节假日，非工作时间
需求是：求每个请求ID操作时间和验收时间之间的间隔，需要剔除周六日，节假日，非工作时间（我们的工作时间 09:00-17:30 午休时间12:00-13:00 午休时间不属于工作范围，需要剔除）当看到这个需求的时候，就感觉让实现色彩斑斓的黑一样，整个人是没有思绪的但是最后发现还是可以完成的比如现有的数据：这个表的字段意思：请求ID,操作时间，验收时间实现这个功能需要两个表辅助：第一个表：TB_IP_Times（该表就是存放每一天的日期）第二个表：TB_IP_.
2020-08-27 11:59:19
10664
2
原创 机器学习入门
算法分类：有监督算法和无监督算法有监督算法包括：回归、分类无监督算法包括：聚类有监督算法：训练数据中包含y值。无监督算法：训练数据中不包含y值，也就是给了一些图片，叫机器根据这些图片去分类。分类：如果预测的y值是类别类型的（可数的值，eg:1,2,3），一般要求y的类型是int回归：如果预测的y值是连续的值，对y没有类型的要求。因为回归和分类中有y值，所以我们可以判断训练出来的模型好不好；但是聚类算法是没有y值的，我们没办法判断聚类算法的好坏。...
2020-07-26 21:34:40
203
转载 最小化安装并安装vmware-tools
转载来自https://blog.csdn.net/sirchenhua/article/details/87718178vmware-tools工具安装如果是虚拟化环境中按照centos，还需要安装vmware-tools工具包。从虚拟机菜单中点击安装vmware-tools。挂载虚拟光驱创建挂载cdrom目录mkdir /mnt/cdrom挂载vmware-tools...
2019-09-22 14:54:32
815
原创 centos systemctl找不到命令
我使用的Linux版本是Centos 6.4的，然后在输入“sudo systemctl start httpd”时，提示说command not found,如下所示：经百度一波后，发现centos使用 service 命令替代systemctl如启动服务service httpd start查看httpd服务状态service httpd status这里...
2019-09-15 10:05:14
25927
原创 在Spark-Shell下启用SQL报错：error: not found: value sqlContext解决方案
我今天刚学习SparkSQL,然后学习看的视频是很久前的，他们的spark版本使用的是1.6以前的，但是我现在学习使用的是2.2.1的，然后跟着视频操作使用sqlContext,报错error: not found: value sqlContext然后百度，看到说是版本的问题,SparkSQL2.0之后使用的不是sqlContext了，而是spark.sql。...
2019-07-18 12:50:01
1131
原创 object BeanProperty is not a member of package reflect
1、导入import scala.reflect.BeanProperty包，报错object BeanProperty is not a member of package reflect2、换另外一个包import scala.beans.BeanProperty，效果一样
2019-07-09 10:44:41
714
原创 Hadoop 伪分布模式搭建
之前我有一篇博客是Hadoop单机模式，运行在本地，数据来源于本地https://blog.csdn.net/happytjl/article/details/89041628这篇是伪分布模式，运行在本地，数据来源于HDFS文件系统首先，我们需要配置两个文件。一个是core-site.xml,另一个是hdfs-site.xml配置前我们需要创建一个data/tmp临时目录，为我们配...
2019-04-05 14:58:29
237
原创 centos 设置 IP地址与主机名的映射
1、首先查看虚拟机的IP地址和主机名2、在centos下设置IP地址和主机名的映射 这里需要用root用户来设置 vi /etc/hosts //用vi打开/etc/hosts 文件，然后配置IP与主机名的映射 IP和主机名中间用空格隔开就行3、在windows下设置IP地址和主机名的映射 在C:\Windows\Syste...
2019-04-05 13:18:56
6825
1
原创 安装Hadoop 本地模式测试Hadoop，wordcount
1、cd /opt/softwares //切换到hadoop压缩包的安装目录下,我的目录在/opt/softwares tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules //将压缩包解压到/opt/modules目录下 然后有如图所示的错误，则可以忽略，这是因为文件太大导致的，没有影响。 c...
2019-04-05 12:10:23
1207
原创 centos 下安装jdk
1、rpm -qa|grep java //查看cenos下自带的jdk版本 su //切换到roo用户 rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 tzdata-java-2012j-1.el6.noarch java-1.7.0-openjdk-1.7.0.9-2.3.4...
2019-04-05 10:42:32
151
原创 centos下安装VMware Tools
1、点击虚拟机菜单栏，选择安装VMware tools2、然后稍等一会儿，就会弹出这两个东西3、然后右击VMwareTools-10.1.6-5214329.tar.gz文件，选择Extract To(提取到）4、我选择的是提取到Desktop5、提取成功后，会出现vmware-tools-distrib文件5.接着我们打开终端，输入如下命令：输入./wmwar...
2019-04-04 23:18:35
455
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人