![](https://img-blog.csdnimg.cn/2021051811455990.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 72
Hadoop知识库
大勇任卷舒
这个作者很懒,什么都没留下…
展开
-
146.个性化推荐系统案例介绍
大数据视频推荐:网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐:ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能:深度学习入门到精通原创 2022-12-15 17:31:26 · 558 阅读 · 0 评论 -
145.如何评价个性化推荐系统的效果-2
【代码】145.如何评价个性化推荐系统的效果-2。原创 2022-12-13 15:47:18 · 346 阅读 · 0 评论 -
144.如何评价个性化推荐系统的效果-1
两者取值在0和1之间,数值越接近1,查准率或查全率就越高。不妨举这样一个例子:某池塘有1400条鲤鱼,300只虾,300只鳖。现在以捕鲤鱼为目的。撒一大网,逮着了700条鲤鱼,200只虾,100只鳖。那么,这些指标分别如下:不妨看看如果把池子里的所有的鲤鱼、虾和鳖都一网打尽,这些指标又有何变化:由此可见,正确率是评估捕获的成果中目标成果所占得比例;召回率,顾名思义,就是从关注领域中,召回目标类别的比例;而F值,则是综合这二者指标的评估指标,用于综合反映整体的指标。当然希望检索结果P原创 2022-12-07 15:26:08 · 138 阅读 · 0 评论 -
143.如何个性化推荐系统设计-3
协同过滤算法协同过滤(Collaborative filtering, CF)算法是目前个性化推荐系统比较流行的算法之一。协同算法分为两个基本算法:基于用户的协同过滤(UserCF)和基于项目的协同过滤(ItemCF)。基于属性的推荐算法基于用户标签的推荐统计用户最常用的标签,对于每个标签,统计被打过这个标签次数最多的物品,然后将具有这些标签的最热门的物品推荐给这个用户。原创 2022-11-30 15:45:15 · 306 阅读 · 0 评论 -
142.如何个性化推荐系统设计-2
5.使用正负样本的数目来计算梯度的和(所有的model具有同样的N和P)3.训练若干相似model。原创 2022-11-25 09:36:50 · 835 阅读 · 0 评论 -
141.如何个性化推荐系统设计-1
个性化推荐系统就是根据用户的历史,社交关系,兴趣点,上下文环境等信息去判断用户当前需要或潜在感兴趣的内容的一类应用。大数据时代,我们的生活的方方面面都出现了信息过载的问题:电子商务、电影或者视频网站、个性化音乐网络电台、社交网络、个性化阅读、基于位置的服务、个性化邮件、个性化广告…逛淘宝、订外卖、听网络电台、看剧等等等。推荐系统在你不知不觉中将你感兴趣的内容推送给你,甚至有的时候,推荐系统比你本人更了解你自己。推荐系统的业务主要包括四个部分:物料组装:生产广告,实现文案、图片等内容的个性化。原创 2022-11-24 15:40:47 · 1150 阅读 · 0 评论 -
140.深度学习分布式计算框架-3
【代码】140.深度学习分布式计算框架-3。原创 2022-11-22 10:46:27 · 1500 阅读 · 2 评论 -
139.深度学习分布式计算框架-2
大数据视频推荐:网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐:ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能:深度学习入门到精通原创 2022-11-22 10:26:52 · 598 阅读 · 0 评论 -
138.深度学习分布式计算框架-1
大数据视频推荐:CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战大数据语音推荐:ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能:深度学习入门到精通原创 2022-11-21 17:56:26 · 612 阅读 · 0 评论 -
137.如何进行离线计算-3
【代码】137.如何进行离线计算-3。原创 2022-11-18 12:00:00 · 253 阅读 · 0 评论 -
136.如何进行离线计算-2
【代码】136.如何进行离线计算-2。原创 2022-11-17 12:00:00 · 192 阅读 · 0 评论 -
135.如何进行离线计算-1
【代码】135.如何进行离线计算-1。原创 2022-11-16 12:00:00 · 263 阅读 · 0 评论 -
134.如何进行实时计算
所谓实时流计算,就是近几年由于数据得到广泛应用之后,在数据持久性建模不满足现状的情况下,急需数据流的瞬时建模或者计算处理。这种实时计算的应用实例有金融服务、网络监控、电信数据管理、 Web 应用、生产制造、传感检测,等等。在这种数据流模型中,单独的数据单元可能是相关的元组(Tuple),如网络测量、呼叫记录、网页访问等产生的数据。但是,这些数据以大量、快速、时变(可能是不可预知)的数据流持续到达,由此产生了一些基础性的新的研究问题——实时计算。实时计算的一个重要方向就是实时流计算。原创 2022-11-15 10:51:30 · 661 阅读 · 0 评论 -
133.CDH中MySQL高可用设置
133.1 Keepalived安装。原创 2022-11-10 16:55:08 · 231 阅读 · 0 评论 -
132.OpenLDAP认证—Hue
1.主节点与备节点均已安装OpenLDAP且正常使用2.集群已启用Kerberos###132.1 hive用户导入到OpenLDAP。原创 2022-11-02 16:05:02 · 468 阅读 · 0 评论 -
131.Avro格式数据与在spark中应用
【代码】131.Avro格式数据与在spark中应用。原创 2022-10-27 16:28:32 · 1294 阅读 · 0 评论 -
130.Impala基准测试
【代码】130.Impala基准测试。原创 2022-10-20 17:12:42 · 926 阅读 · 0 评论 -
129.OpenLDA安装并配置客户端-2
【代码】129.OpenLDA安装并配置客户端-2。原创 2022-10-12 11:43:39 · 249 阅读 · 0 评论 -
128.OpenLDA安装并配置客户端-1
【代码】128.OpenLDA安装并配置客户端-1。原创 2022-10-11 12:04:48 · 679 阅读 · 0 评论 -
127.Lily HBase Indexer的使用
collection的脚本执行127.3 Morphline与Lily Indexer文件MorphlineLily Indexer###127.4 全文索引批量建立分发到Solr和YARN服务相关的目录分发到集群索引脚本运行大数据视频推荐:CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战大数据语音推荐:ELK7 stack开原创 2022-10-09 16:12:33 · 103 阅读 · 0 评论 -
127.Lily HBase Indexer的使用
collection的脚本执行127.3 Morphline与Lily Indexer文件MorphlineLily Indexer###127.4 全文索引批量建立分发到Solr和YARN服务相关的目录分发到集群索引脚本运行大数据视频推荐:CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战大数据语音推荐:ELK7 stack开原创 2022-10-09 16:11:48 · 627 阅读 · 0 评论 -
126.在CDH中用Java API访问Kudu
【代码】126.在CDH中用Java API访问Kudu。原创 2022-09-28 16:21:30 · 1119 阅读 · 0 评论 -
125.在CM中使用SNMP
【代码】125.在CM中使用SNMP。原创 2022-09-26 15:55:13 · 842 阅读 · 0 评论 -
124.Spark2Streaming读Kafka并写数据到Kudu
【代码】124.Spark2Streaming读Kafka并写数据到Kudu。原创 2022-09-20 16:42:11 · 462 阅读 · 0 评论 -
123.Impala查询缓慢问题与解决
【代码】123.Impala查询缓慢问题与解决。原创 2022-09-15 17:15:54 · 1435 阅读 · 0 评论 -
122.Thrift和spark-sql客户端部署
【代码】122.Thrift和spark-sql客户端部署。原创 2022-09-14 17:06:42 · 652 阅读 · 0 评论 -
121.Yarn资源池的动态配置
【代码】121.Yarn资源池的动态配置。原创 2022-09-13 16:27:20 · 627 阅读 · 0 评论 -
120.VARCHAR/CHAR存放问题分析
【代码】120.VARCHAR/CHAR存放问题分析。原创 2022-09-08 18:17:36 · 159 阅读 · 0 评论 -
119.向HDFS跨网段写数据
【代码】119.向HDFS跨网段写数据。原创 2022-08-31 17:30:22 · 349 阅读 · 0 评论 -
118.Hive与Spark的集成
【代码】118.Hive与Spark的集成。原创 2022-08-23 15:59:51 · 522 阅读 · 0 评论 -
117.DataNoe的HOSTNAME修改
代码】117.DataNoe的HOSTNAME修改。原创 2022-08-18 17:43:35 · 105 阅读 · 0 评论 -
116.Hive查询NULL异常分析与解决
##116.1 问题简述。原创 2022-08-16 14:53:26 · 1360 阅读 · 0 评论 -
115.Kerberos的安装配置与启用
代码】115.Kerberos的安装配置与启用。原创 2022-08-15 16:14:10 · 732 阅读 · 0 评论 -
114.Livy配置
代码】114.Livy配置。原创 2022-08-11 17:58:44 · 545 阅读 · 0 评论 -
113.Impala ODBC驱动的安装及配置
代码】113.Impala ODBC驱动的安装及配置。原创 2022-08-09 16:44:23 · 1227 阅读 · 0 评论 -
112.HBase Endpoint类型的Coprocessor开发与部署
代码】112.HBase Endpoint类型的Coprocessor开发与部署。原创 2022-08-04 18:04:09 · 292 阅读 · 0 评论 -
111.Parquet表的使用
代码】111.Parquet表的使用。原创 2022-08-03 17:39:05 · 422 阅读 · 0 评论 -
110.用StreamSets实现数据实时写入Kudu
110.1 演示环境介绍CM版本:5.13.1CDH版本:5.13.1MariaDB版本:5.5.56StreamSets版本:3.1.2.0110.2 操作演示1.环境布置把MariaDB的Binlog日志开启修改/etc/my.conf文件,在配置文件mysqld下增加如下配置:建议使用Row模式的Binlog格式server-id=1log-bin=mysql-binbinlog_format=ROW重启服务[root@ip-168-31-16-.原创 2022-03-04 14:59:36 · 2008 阅读 · 0 评论 -
109.升级Python3在CDH集群中遇到的问题与解决
109.1 环境情况在集群中所有节点/opt/cloudera/anaconda3部署了Python3的安装包:[root@cdh02 ~]# /opt/cloudera/anaconda3/bin/python -VPython 3.6.5 :: Anaconda, Inc.[root@cdh02 ~]# 全局变量:# added by Anaconda3 installerexport PATH="/opt/cloudera/anaconda3/bin:$PATH"[root@cdh原创 2022-03-03 16:00:14 · 1136 阅读 · 0 评论 -
108.使用GPU运行深度学习
108.1 演示环境介绍CDSW版本:1.2或者1.3以上即可108.2 操作演示1.启用GPU的限制加载nvidia.ko模块,创建/dev/nvidiactl设备,在/dev/nvidia0下创建设备列表同时还会创建/dev/nvidia-uvm和/dev/nvidia-uvm-tools 设备,并给 /etc/rc.modules分配执行权限在所有GPU服务器下运行一次以下命令:# Manually load the required NVIDIA modulessudo原创 2022-03-02 10:44:06 · 2330 阅读 · 0 评论