![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
文章平均质量分 78
梦痕长情
这个作者很懒,什么都没留下…
展开
-
java使用idea操作HDFS
java和hdfs原创 2022-10-10 19:23:03 · 2526 阅读 · 0 评论 -
Java读取HDFS上的Excel文件
Java的poi原创 2022-10-07 23:01:26 · 578 阅读 · 0 评论 -
CDH6.3.2安装python3
CDH安装python3.6原创 2022-09-23 17:20:46 · 1499 阅读 · 0 评论 -
azkaban启动时出现错误:Could not find or load main class 12321
记录一次azkaban启动时出现的错误:找不到或无法加载主类 12321Azkaban无法启动错误Error: Could not find or load main class 12321网上查找了很久,都是说:A 检查自己的配置文件是否有多个端口配置B 换个端口试一下,看看是否能够启动我都尝试了,没有用。最后发现竟然时我在配置端口号的时候在前面多了一个空格,如图:把空格去掉然后重新启动就好了。...原创 2022-02-23 18:23:40 · 636 阅读 · 0 评论 -
pyspark通过JDBC链接mysql(DataFrame)
一前言Mysql版本:8.0.21spark版本:3.1.1hadoop版本:2.7.5JDBC驱动程序版本:mysql-connector-java-5.1.46.tar.gz二、正文1、先在mysql里建立spark数据库,同时建立一个student表,向表中插入一些数据mysql> create database spark;mysql> use spark;mysql> create table student (id int(4), name char(20),原创 2021-12-01 20:17:26 · 4821 阅读 · 0 评论 -
JAVA学习二之---方法构造
一、构造方法创建实例的时候,我们经常需要同时初始化这个实例的字段,例如:Person wang = new Person();wang.setName("小王");wang.setAge(15);初始化对象实例需要3行代码,而且,如果忘了调用setName()或者setAge(),这个实例内部的状态就是不正确的。能否在创建对象实例时就把内部字段全部初始化为合适的值?完全可以。这时,我们就需要构造方法。创建实例的时候,实际上是通过构造方法来初始化实例的。我们先来定义一个构造原创 2021-09-16 20:29:38 · 227 阅读 · 0 评论 -
电商推荐系统(二)---实时推荐服务
前言:1、 实时推荐服务实时计算与离线计算应用于推荐系统上最大的不同在于实时计算推荐结果应该反映最近一段时间用户近期的偏好,而离线计算推荐结果则是根据用户从第一次评分起的所有评分记录来计算用户总体的偏好。用户对物品的偏好随着时间的推移总是会改变的。比如一个用户u 在某时刻对商品p 给予了极高的评分,那么在近期一段时候,u 极有可能很喜欢与商品p 类似的其他商品;而如果用户u 在某时刻对商品q 给予了极低的评分,那么在近期一段时候,u 极有可能不喜欢与商品q 类似的其他商品。所以对于实时推荐,当用户原创 2021-05-28 00:01:21 · 1456 阅读 · 0 评论 -
MongoDb 命令查询所有数据库和表
MongoDb 命令查询所有数据库列表 CODE: > show dbs 如果想查看当前连接在哪个数据库下面,可以直接输入db CODE: > db Admin 想切换到test数据库下面 CODE: > use test switched to db test > db Test 想查看test下有哪些表或者叫collection,可以输入 CODE: > show collect...转载 2021-05-20 11:22:00 · 9706 阅读 · 1 评论 -
电商推荐系统(一)
一、数据加载基本框架package com.lzl.recommender/** * Product数据集 * 3982 商品ID * Fuhlen 富勒 M8眩光舞者时尚节能 商品名称 * 1057,439,736 商品分类ID,不需要 * B009EJN4T2 亚马逊ID,不需要 * https://images-cn-4.ssl-image原创 2021-05-20 00:40:09 · 659 阅读 · 0 评论 -
Hive实战
一、需求分析统计抖音视频网站的常规指标,各种TopN指标:– 统计视频观看数Top10– 统计视频类别热度Top10– 统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个数– 统计视频观看数Top50所关联视频的所属类别排序– 统计每个类别中的视频热度Top10,以Music为例– 统计每个类别视频观看数Top10– 统计上传视频最多的用户Top10以及他们上传的视频观看次数在前20的视频二、数据准备1、video_info(视频表)2、user_info(用户原创 2021-05-14 13:08:29 · 152 阅读 · 0 评论 -
kafka高级API普通生产者
一、Producer API1.1、消息发送流程Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main线程和Sender线程,以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。相关参数:batch.size:只有数据积累到batch.size之后,sender才会发送数据。li原创 2021-05-02 00:46:51 · 130 阅读 · 0 评论 -
Centos8 安装详细步骤
一、CentOS 8 的新特性1)DNF 成为了默认的软件包管理器,同时 yum 仍然是可用的2)使用网络管理器(nmcli 和 nmtui)进行网络配置,移除了网络脚本3)使用 Podman 进行容器管理4)引入了两个新的包仓库:BaseOS 和 AppStream5)使用 Cockpit 作为默认的系统管理工具6)默认使用 Wayland 作为显示服务器7)iptables 将被 nftables 取代8)使用 Linux 内核 4.189)提供 PHP 7.2、Python 3.6、原创 2021-04-27 23:56:53 · 4680 阅读 · 1 评论