- 博客(5)
- 收藏
- 关注
RSS订阅原创 如何连接远程服务器上的数据库
远程服务器上切换root权限：sudo su root远程服务器上检查防火墙是否对外开放3306端口：firewall-cmd --query-port=3306/tcp若为false则命令行开放端口：firewall-cmd --add-port=3306/tcp本地再次检查端口是否开放成功：telnet <目标主机IP> <端口>。# 远程通信不成功Trying 111.111.111.11...telnet: connect to address 111.1..
2021-09-28 15:00:17
2195
原创 Scala集合操作传匿名函数省略式的只写下划线编译器会解析为偏应用函数
Scala中匿名函数如果参数只出现一次可以用下划线代替，那如果map映射不做操作，返回每个元素的自身可不可以括号内只写下划线呢？val list = List(1, 2, 3, 4)val mapList: List[Int] = list.map(_)IDE报错，自动推断出 map( _ ) 得到结果的类型为 Function1[Int => B_ , List[Nothing]] 而不是 List[Int]，这表示返回的是带一个参数的方法，该参数类型为Int=>，返回结果类型为Lis
2021-09-02 16:54:24
123
原创 Hadoop + Spark 完全分布式学习环境搭建（Docker版）
计算机中所有程序都要寄托一个环境运行，环境可以理解为一个程序运行所需要的条件的集合；如果只是为了写一个Java程序，它是单进程的，那么我们配置jdk、jre就可以了；如果写一个网站，有前后端、数据库服务、缓存服务等等，它们都要跑在不同的端口乃至不同的服务器上，配置环境让他们可以协同运作就会变得稍微复杂一些了；本篇文章将会介绍一个同样复杂的环境配置 —— Spark + Hadoop。由于 Spark和Hadoop通常都运行于分布式环境，有主从节点，因此一般在Linux服务器集群进行分布式生产环境部署，但.
2021-08-20 23:13:46
1283
原创 Hadoop入门--HDFS
HDFS 的使用场景: 适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭 之后就不需要改变。HDFS优点：高容错。适合处理大规模数据。可构建在廉价机器上。HDFS缺点：相比其它文件系统访问数据速度更慢。HDFS不适合存取大量小文件，每个文件会占用NameNode150字节的内存，128G内存的NameNode能存取9亿个文件；检索时间超过了读取时间。HDFS不支持并发写入，且仅支持数据追加，不支持文件随机修改。HDFS BlockHDFS按block存储，
2021-08-11 10:15:05
126
原创 Hadoop伪分布式环境搭建（MacOS）
搭建环境前需要先了解一下Hadoop的分布式系统基础架构Hadoop主要解决：海量数据存储及分析计算问题Hadoop四优势：高可靠性：集群维护多个数据副本高扩展性：可以动态扩展（增加服务器数量）高效性：并性工作高容错性：能够自动将失败的任务重新分配HDFS （Hadoop分布式文件系统）NameNode(nn): 存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等。DataNod.
2021-08-11 10:03:03
463
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人