大数据
文章平均质量分 56
吕海洋
Python 测试发开,外汇 EA 交易员
展开
-
mysql 逗号分割字符串当做 in 的条件
如果是通过查询table2 得到的 table1_ids, 并且是字符串类型时,可以写成。数据库里字段存的值是逗号分割的数据,查询到这个数据后需要在其他语句中作为条件。想要查询 name 在 张三,李四,王五 中的人员姓名,可以写成。原创 2022-12-23 17:30:33 · 3662 阅读 · 1 评论 -
docker下部署spark+python+pyspark+Jupyter
1、使用singularities/spark2.2 搭建 spark参考https://hub.docker.com/r/singularities/sparksingularities/spark:2.2版本中Hadoop版本:2.8.2Spark版本: 2.2.1Scala版本:2.11.8Java版本:1.8.0_151 创建docker-compose.yml...原创 2019-11-29 16:16:51 · 2448 阅读 · 2 评论 -
docker搭建jupyter+spark+hadoop环境详细版
目录一、镜像介绍二、部署的步骤和方法:一、镜像介绍如果想要直接部署可以使用命令下载镜像docker pull wuchenlhy/jupyter_spark_hadoop:3.1启动镜像命令docker run -itd \ --name jupyter_spark_hadoop \ -p 8888:8888 \ -p 8088:8088 \ -p 8080:8080 \ -p 9870:9870 \ -v /Users/lvh原创 2022-02-14 13:50:57 · 2378 阅读 · 0 评论 -
VirtualBox + CentOS7 搭建 Hadoop 伪分布式模式
一、准备好 CentOS7 的ISO 文件,JDK1.8 安装文件,hadoop-2.7 安装文件链接:https://pan.baidu.com/s/1lmA0Ai9ivPftJgC6DbpN7g提取码:iw3g二、安装CentOS7系统没有截图的页面默认配置直接下一步三、CentOS7环境准备root 登录系统1、安装 ifconfig 命令用于查看IP2、将所jdk,hadoop文件传入linux系统jdk目录:/usr/java...原创 2021-04-15 14:15:21 · 635 阅读 · 0 评论