我的分布式学习博文

最新推荐文章于 2019-05-16 17:21:08 发布
最新推荐文章于 2019-05-16 17:21:08 发布
阅读量386 收藏 1
点赞数
分类专栏： 分布式 恺风（Wei）之分布式学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flowingflying/article/details/80755282
版权

【hadoop安装篇】

 【杂谈】

恺风
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
阿里分布式框架dubbo学习
04-08
NULL 博文链接：https://blueram.iteye.com/blog/1605651
从Storm和Spark学习流式实时分布式计算的设计
03-01
最近我在做流式实时分布式计算系统的架构设计，而正好又要参加CSDN博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛，要拿出一些自己的干货出来，仅仅是源码分析貌似分量不够。因此，我将最近...
从分布式系统的角度看REST
robbin的专栏
05-23 189
上周末在杭州网侠大会做了关于REST的演讲。会后经过一些交流，特别是今天在msn上面和dlee的交流，感觉自己对于REST的理解更深入了一层。 我们说REST架构风格，从REST具备的内在特征来说，它包括了这些特征： 1、基于HTTP的资源 2、以HTTP协议去操作 3、数据和表象分离 但是如果我们换一个角度，即分布式应用系统的角度来看，我们会有一些更有意思的结论： 分...
分布式计算、并行计算及集群、网格、云计算的区别
热门推荐
courage的专栏
08-19 2万+
转自： http://blog.163.com/litianyichuanqi@126/blog/static/1159794412012387453794/ 并行计算：并行计算是相对于串行计算来说的。可分为时间上的并行和空间上的并行。 时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。例如基于CUDA编程。并行计算的目的就是提供单处理器无法提供的性能（处
分布式系统简介和学习路线
forwardto9的专栏
08-20 1万+
什么是分布式系统 　　分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器，处理更多的数据。 　　首先需要明确的是，只有当单个节点的处理能力无法满足日益增长的计算、存储任务的时候，且硬件的提升（加内存、加磁盘、使用更好的CPU）高昂到得不偿失的时候，应用程...
分布式机器学习的故事
TangowL
11-07 1万+
王益博士，称得上机器学习领域的资深从业者，本人之前有幸拜读过王益博士的一些paper和slides，对其从事的“分布式机器学习”方向尤感兴趣。王益博士之前写过一篇《分布式机器学习的故事》，总结了自己从业多年的经验和感悟。可惜的是，这篇原始博文已经删除了，现在能找到的是原始的六篇讲稿素材：A New Era；Infrequent itemset mining；Application Driven；Im
学习笔记：TheLog（我所读过的最好的一篇分布式技术文章）
02-26
原文很长，但是我坚持看完了，收获颇多，也深深为Jay哥的技术能力、架构能力和对于分布式系统的理解之深刻所折服。同时也因为某些理解和Jay哥观点吻合而略沾沾自喜。JayKreps是前Linkedin的PrincipalStaffEngineer，...
【分布式】hadoop安装篇（7）Hadoop 3的伪分布模式安装
愷风（Wei）的专栏
06-21 3757
准备$ sudo apt-get install ssh $ sudo apt-get install pdsh我们还需要设置pdsh的rcmd，执行下面内容。或创建/etc/pdsh/rcmd_default，里面填入sshecho "ssh" > /etc/pdsh/rcmd_default如果这步骤不设置，我们在启动hdfs时，可能会报告gsta@gsta005:~/wei/hadoo...
【杂谈】对代码的一些建议：从单模块到多模块
愷风（Wei）的专栏
05-16 1611
对于产品，一般来讲，从单模块，到负载均衡的多模块，最后到有服务治理的规模化集群（例如微服务），逐步发展和演进。本文并不打算涉及框架或者架构，也不讲什么大道理，仅从代码编写的角度，看看开发人员需要注意什么。 单模块开发的一些注意事项 单模块并不是指单体方式，根据功能进行模块划分，每个模块在生产环境中是单模块运行（主备方式）。单模块阶段开发人员仍是有要求，在我的实践中，从code review看，...
【分布式】hadoop安装篇（11）CDH安装中的问题：swappiness
愷风（Wei）的专栏
06-28 1318
现象在运行的过程中，即使我们看到host的内存仍富有余量，但是健康检查亮橙灯，会有Swapping Concerning的提示，例如6 pages were swapped to disk in the previous 15 minute(s). Warning threshold: any.其实在安装过程中的自检中，也看到有关的wa...
【分布式】hadoop安装篇（8）在Ubuntu中使用CDH安装hadoop集群（上）
愷风（Wei）的专栏
06-21 1050
安装拓扑我们将采用parcel的安装方式，如果采用手动命令行安装，可以参考 https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.4/bk_command-line-installation/content/ref-e7d8d791-4022-432b-9203-666bbaa1b2cb.1.html安装参考：https://www.clou...
【分布式】hadoop安装篇（10）在Ubuntu中使用CDH安装hadoop集群（下）
愷风（Wei）的专栏
06-21 929
安装和配置cluster11）进入集群配置我们将在wei001，wei002和wei003中安装hadoop，hase，spark作为我们后续学习的基础。相应地选择了HDFS，YARN，Zookeeper，oozie，hive，hue，HBASE，Spark。2）配置数据库在mysql中新增数据库 hive, ozzie和hue，分别提供给hive，oozie和hue组件。create datab...
【分布式】hadoop安装篇（5）验证和一些命令
愷风（Wei）的专栏
06-21 811
在上一博文中，我们已经安装了Hadoop2.9的伪分布环境，我们需要对其进行一些验证。验证【在NDFS中创建目录，用于执行MapReduce jobs。】 $ hdfs dfs -mkdir /user //这和linux的命令很是相识，前面加上-（-ls,-cat, -rmdir等等），这个目录是建在NDFS的img上的。 $ hdfs dfs -mkdir /user/...
【分布式】hadoop安装篇（1）Virtualbox在Ubuntu server上的安装和使用（上）
愷风（Wei）的专栏
06-20 677
安装篇说明【环境】Ubuntu server 16.04。我们在接下来的几篇博客将介绍hadoop伪分布式安装（开发环境）以及通过CDH进行的集群安装（生产环境）。这些都在阿土16.04 server的环境。集群安装需要多台机器，作为实验用，我们采用虚机的方式。在windows上或者desktop的linux上都很容易使用virtualbox，有图形操作。而安装虚机的过程，也需要界面的。Ubunt...
【分布式】hadoop安装篇（3）安装准备和Standalone安装
愷风（Wei）的专栏
06-21 579
下载在 http://hadoop.apache.org/releases.html 中获取相关的版本。安装参考： http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-common/SingleCluster.html http://hadoop.apache.org/docs/r3.1.0/hadoop-project-...
【分布式】hadoop安装篇（9）在Ubuntu中使用CDH安装hadoop集群（中）
愷风（Wei）的专栏
06-21 572
安装CDH1）启动server服务在wei001中执行：sudo service cloudera-scm-server start此时我们进入数据库，可以看到scm里面有表格的创建。这个部署需要花费点时间，我们可以跟踪log文件（/var/log/cloudera-scm-server/cloudera-scm-server.log）我们也可以打开浏览器，输入 http://191.8.2.93...
【分布式】hadoop安装篇（2）Virtualbox在Ubuntu server上的安装和使用（下）
愷风（Wei）的专栏
06-21 370
web图形方式安装VirtualBoxweb方式利用phpVirtualbox，只支持到5.0版本。也可以强制使用5.2版本，web会提示版本不兼容，能够使用，但不要通过web上的远程连接，而是使用windows自带的远程桌面。1）加上virtualbox的源，前面已经介绍，不再重复2）安装5.0版本$ sudo apt-get install virtualbox-5.0 3）安装扩展包# 查看...
【分布式】hadoop安装篇（6）Java API的验证
愷风（Wei）的专栏
06-21 366
Maven<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.9.0</version> </dependency>
联邦学习和spark分布式学习
最新发布
09-16
联邦学习和Spark分布式学习是两种不同的机器学习方法。 联邦学习是一种旨在保护用户数据隐私的学习方法。在联邦学习中，数据持有者将其数据分布式地存储在不同的设备或服务器上，并使用迭代的方式进行训练以获得模型。每次迭代中，设备会计算本地模型更新，然后将其发送到中央服务器进行聚合。通过这种方式，联邦学习能够在不共享原始数据的情况下建立全局模型，保护用户的隐私。联邦学习常用于医疗、金融等领域，其中涉及敏感数据的应用。 Spark分布式学习是一种使用Apache Spark分布式计算框架进行机器学习的方法。Spark是一种基于内存的大规模数据处理框架，能够以高效的方式对数据进行分布式处理和分析。分布式学习是Spark中的一种机器学习模块，它提供了一系列分布式算法和工具，使得可以在大规模数据集上高效地进行机器学习任务，如分类、回归、聚类等。 与联邦学习不同，Spark分布式学习并不涉及数据隐私问题。它通过将数据分割成多个部分，并将其分配给不同的计算节点进行处理，实现了高效的并行化计算。Spark还提供了分布式机器学习库（MLlib），其中包含了一些常见的机器学习算法的实现，如随机森林、支持向量机等。使用Spark分布式学习，可以充分利用集群计算资源，快速得到可扩展的学习模型。 总的来说，联邦学习注重数据隐私保护，适用于不同数据源的合作学习；而Spark分布式学习则注重使用分布式计算框架进行高效的机器学习计算，适用于大规模数据集的学习任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值