- 博客(11)
- 收藏
- 关注
RSS订阅原创 zookeeper学习
zookeeper从角度来理解: 是一个的 zookeeper负责存储和管理大家都关心的数据, 然后接受观察者的注册, 一旦这些数据的状态发生变化, zookeeper就负责通知已经注册的观察者。
2023-07-26 16:47:55
307
1
原创 Spark学习-架构和RDD
Master角色, 管理整个集群的资源Worker角色, 管理单个服务器的资源Driver角色, 单个Spark任务在运行的时候的工作Executor角色,单个任务运行的时候的工作者[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4pqW7TOS-1689995247587)(C:\Users\谢金桐\AppData\Roaming\Typora\typora-user-images\image-20230718152527103.png)]
2023-07-22 11:12:08
120
原创 Docker基础
Docker本身是一个容器运行载体或称之为管理引擎.我们把应用程序和配置依赖打包好形成一个可交付的运行环境,这个打包好的运行环境就是image镜像文件.只有通过这个镜像文件才能生成Docker容器实例(类似Java中new出来一个对象)
2023-07-15 19:54:06
65
1
原创 pythonMysql
需要通过链接对象的commit成员方法来进行确认的。varchar(长度) – 文本, 长度为数字。timestamp – 时间戳类型。float – 浮点数。date – 日期类型。
2023-07-13 20:14:18
77
2
原创 Flask学习
因为flask的路由函数接收到内容后会默认把他当成html来解析，这样就有可能产生安全问题。host 主机, 默认是127.0.0.1, 指定为0.0.0.0代表本机所以ip。默认支持GET, HEAD, OPTIONS, 如果想支持某一请求方式,需手动。通过导入flask的render_template包,可以进行模板渲染。可以不加string:xxx , flask默认值是string。可以在模板中访问对象,也可以访问字典,这里演示访问对象。可以传参数到html中,html用{{ }}调用。
2023-07-12 20:42:42
73
2
原创 python高级技巧
进程:一个程序运行在系统之上,等于一个公司线程:归属于进程,一个进程可以开启多个线程,执行不同的工作,等于多个员工,进程实际的工作者一个进程运行多个线程:多线程运行。
2023-07-11 15:03:51
53
3
原创 pyspark
是Spark中最基本的数据抽象，是spark core的底层核心，它代表一个不可变、可分区、里面的元素可并行计算的集合。通过SparkContext对象调用parallelize方法将Python对象加载到Spark内,成为RDD对象。用textFile方法,读取文件数据加载到Spark内,成为RDD对象。功能:map算子是将RDD的数据一条条处理,返回新的RDD。功能:对RDD数据进行排序,基于你指定的排序依据。功能:对RDD数据集按照你传入的逻辑进行聚合。功能:对RDD数据进行去重,返回新的RDD。
2023-07-11 14:59:14
131
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人