- 博客(6)
- 资源 (1)
- 收藏
- 关注
原创 sparksql 读取、连接 hive 报The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions
sparksql 读取、连接 hive 报The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions首先检查权限问题,这里有两种解决方式:1.用有写权限的用户去操作:在代码中添加环境变量:System.setProperty("HADOOP_USER_NAME","hadoop")2.其次检查 hdfs /tmp/hive 其他用户是否对其有写的权限,如果没有就用该目录拥有者账户执行hadoop
2021-03-02 08:59:47
2490
2
原创 SparkStreaming + LogisticRegression 实现路况预测
目录SparkStreaming + LogisticRegression 实现路况预测1.项目介绍2.前置知识2.1 RDD2.2 SparkStreaming2.3 kafka2.4 redis2.5 LogisticRegression3.代码实现3.1 数据准备SparkStreaming + LogisticRegression 实现路况预测1.项目介绍本篇介绍如何实现一个实时路况拥堵情况预测功能的系统。我们先来分析一下如何实现,以此来确定项目所
2020-12-07 14:27:09
758
原创 推荐系统介绍与实现流程与原理
推荐系统介绍与实现流程与原理1. 推荐系统介绍首先,什么是推荐系统?用大白话来说,推荐系统就是一个软件、系统,用来给你推荐你想要了解、或者你喜欢的物品的系统。这里的物品可能是文章,比如你是一个军事迷,那么他会给你推荐军事相关的文章给你,这样的平台如今日头条等。也可能是某件商品,比如你在淘宝上搜索电脑,那么你app接下来出现的商品可能大部分都是电脑相关的内容。再比如最近两年很火的短视频,为什么你会刷抖音一刷就是几个小时呢?因为你刷到的内容都是你感兴趣的,或者说比较符合你口味的内容,所以你就会搁那一直刷
2020-12-06 16:20:56
2019
1
原创 MAC 下配置MAVEN 环境变量(超级详细)
1.下载maven binary压缩文件2.解压到一个目录。3.打开终端,输入一下命令:vim ~/.bash_profile4.按 i进入编辑模式输入如下内容;其中MAVEN_HOME为刚才解压后的文件路径#Setting PATH for MAVENMAVEN_HOME=/Users/liuyangang/apache-maven-3.5.4PATH=$MAVEN_...
2019-01-28 20:03:11
3379
1
转载 python字符编码详解
本文转载自[http://www.cnblogs.com/huxi/archive/2010/12/05/1897271.html],简单介绍了各种常用的字符编码的特点,并介绍了在python2.x中如何与编码问题作战 :) 请注意本文关于Python的内容仅适用于2.x,3.x中str和unicode有翻天覆地的变化,请查阅其他相关文档。1. 字符编码简介1.1. ASCIIASCII(Ame...
2018-04-22 22:02:44
124
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人