- 博客(5)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 配置及执行spark、hadoop遇到的几个报错解决
报错1：问题描述：执行hadoop命令报错WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable mkdir: Permission denied: user=Devops, access=WRITE, inode="/":root:supergroup:drwxr-xr-x解决方案：在文件ha
2020-08-21 16:14:29
1123
原创 超详细：大数据框架Spark和Hadoop了解及对比
谈到大数据框架，现在最火的就是Hadoop和Spark，但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，倒底现在业界都在使用哪种技术？二者间究竟有哪些异同？它们各自解决了哪些问题？也总有人会问这两者谁更好的问题，而事实上，在设计之初，Hadoop和Spark是为了实现在同一个团队内的协同运行，而不是非要分出个谁优谁劣。Hadoop与Spark之间，各自有各自的优势和不足，共同运用起来才能更好地完成大数据的处理。一、介绍HadoopHadoop，是分布式管理、存储、计算的生态系统，也
2020-08-18 15:06:42
3137
原创 超详细总结：前后端数据交互原理
最近开始接触前后端的一些知识，查了很多资料，今天把互联网产品的前后端数据交互做个总结留做笔记。互联网产品的前后端数据交互是通过一个通讯协议完成。前后台交互的协议主要包括HTTP,FTP,SMTP,TELNET,POP3…本文仅总结HTTP协议。HTTP协议HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议，是一个基于TCP/IP通信协议来传递数据，也是互联网上应用
2020-08-14 17:40:08
22937
7
原创 认识计算机前端和后端
1.前后端认知什么是前端？ 什么是后端？ 什么是数据库?前端：用户的可见界面 数据展示在页面上给用户看到后端：把前端的数据存储到数据库 把数据库的数据传递给前数据库：存储数据的“仓库” 让后端进行数据的增删改查前端和后端开发内容的区别1、运行环境不同（1）Web前端代码主要在客户端（PC、手机、pad）运行；（2）Web后端的代码主要在服务端运行，服务器可以在提供服务厂家的数据中心，也可以在云端。2、与用户紧密关系不同（1）前端重用户体验，主要..
2020-08-14 17:39:39
7259
原创 机器学习：算法中的泛化误差、偏差、方差、噪声的理解（超详细）
摘要：在现实任务中，我们往往有多种学习算法可供选择，甚至对同一个学习算法，当使用不同的参数配置时，也会产生不同的模型，那么，我们该如何选用哪一个学习算法，使用哪一种参数配置呢？这就是机器学习中的“模型选择”问题，理想的解决方案是对候选模型的泛化误差进行评估，然后选择泛化误差最小的那个模型。泛化误差意义以前在机器学习中一直使用经验风险（训练误差）来逼近真实风险，但事实上多数情况经验风险并不能够准确逼近真实风险。后来业界就提出了泛化误差的概念（generalization error）,在机器学习.
2020-08-04 19:58:54
16298
6
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人