hadoop
文章平均质量分 75
冰科技
主学python,MySQL,辅学JAVA,个人爱好爬虫,乐于尝试各种新的事物,如Linux等。特别关注国产系统。
展开
-
Linux运维(5)
bash的基础特性: globbing :文件名通配 匹配模式:元字符 *:匹配任意长度的任意字符 ?:匹配任意单个字符 【】:指定范围内的任意单个字符 (有几种特殊格式:【a-z】 ,【A-Z】,【0-9】,【a-z0-9】,【【:upper:】】所有大写字母,【【:lower】】所有小写字母)![截图](attachment:b236b4c25aabc00a19ef9339d7e63fb7)![截图](att...原创 2021-08-01 11:47:01 · 181 阅读 · 0 评论 -
Linux运维(1)
一. 环境知识vnc(Virtual network Computing)协议:用于虚拟网络计算,桌面共享,远程登录。例如TigerVNCC/S架构,即Client、Servervncviewer:client 客户端 (观看共享桌面)vncserver:server 服务端 (提供桌面共享服务)URL: ftp ????/ 127.0.0.1 /pub协议 服务器地址 路径Server:172.16.0.1192.168.0.254192.168原创 2021-06-06 21:55:20 · 215 阅读 · 1 评论 -
Spark基础知识
SparkSpark是一个可应用于大规模数据处理的快速、通用引擎,提供了内存计算和基于DAG的任务调度执行机制,减少了迭代计算时的I/O开销;Spark的设计遵循“一个软件栈满足不同应用场景”的理念,形成了一套完整的生态系统,既能够提供内存计算框架,也可以支持SQL即席查询(Spark SQL)、流计算(Spark Streaming)、机器学习(MLlib)和图计算(GraphX)等。Spark可以部署在资源管理器YARN上,提供一站式的大数据解决方案。Spark主要具有的特点: 1. Spar原创 2021-05-19 19:21:53 · 652 阅读 · 0 评论 -
Docker
Docker是一个开源的应用容器引擎,基于Go语言并遵从Apache2.0协议开源。可以让开发者打包它们的应用及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的Linux机器上,实现虚拟化。Docker的应用场景:Web应用的自动化打包和发布;自动化测试和持续集成、发布;在服务型环境中部署和调整数据库或其他的后台应用;从头编译或扩展现有的OpenShift或Cloud Foundry平台来搭建自己的Paas环境。Docker 的优点Docker 是一个用于开发,交付和运行应用程序的开放原创 2021-05-14 22:48:35 · 142 阅读 · 0 评论 -
大数据技术及应用
##一.生活中的大数据身边的大数据:沃尔玛消费观念(啤酒和尿布)、榨菜指数医疗大数据:图像诊断(体内的胶囊相机)、预测冬季流感(2009年冬季流感的传播及特定的地区和州)、基因健康教育大数据:Hiptype电子书阅读分析工具、中国大学MOOC网、谷歌翻译系统商业大数据:超市预测高中生怀孕,酒店客户流失分析娱乐大数据:预测奥斯卡大奖、绿镜(大数据分析工具)服务大数据:用户画像、网站智能机器人、精准扶贫##大数据基本概念信息:指人们对于客观事务属性和运动状态的反映。反映的是关于某一客观系统中,原创 2021-01-06 00:01:02 · 4934 阅读 · 0 评论 -
创建虚拟机,搭建hadoop集群(一台主机两台从机)
创建虚拟机,搭建hadoop集群(一台主机两台从机)1.在VMware Workstation Pro里创建一台虚拟机,经过一些简单的虚拟机配置,对CentOS系统进行安装,一开始选择语言,软件以及分区(不进行任何设置),加装桌面、系统管理工具,方便集群可视化,设置密码,完成后进行安装:2.接受协议,重启系统3.设置密码:********* 普通用户:lindff4.重启后,需要选择本机语言,地区时间等等,完成设置后,虚拟机搭建完成。打开命令窗口。进行基础的配置,使用命令修改内容都是在ro原创 2020-11-15 19:44:44 · 1480 阅读 · 4 评论