F13122298的博客

【代码】数据湖工具hudi docker。

【代码】mac配置Java环境。

docker load 命令用于从 tar 归档文件或者标准输入流载入镜像。查看容器资源占用情况。

下载centos7镜像启动容器，以centos为基准镜像，构建我们的hadoop运行环境镜像。

【代码】dokcer安装maven。

完成之后，再次尝试使用 /usr/sbin/sshd -D 命令启动 SSH 服务器。这些命令将在 /etc/ssh/ 路径下生成相应类型的主机密钥文件。

请记住，如果容器已经在运行中，你需要先停止它，然后再使用上述步骤重新启动容器以开放端口号。1.确保已经停止容器。你可以使用docker stop 命令停止容器。3.使用docker ps命令检查容器状态和端口映射情况。

修改前 cat log4j2.xml。

name：核心的名称，在使用 CoreAdminHandler 运行命令时，使用此名称来引用核心。config：核心的配置文件名称，默认是 solrconfig.xml。schema：核心的模式文件名，默认为 managed-schema。dataDir：核心的数据目录（存储索引），绝对路径或相对于 instanceDir 的路径；默认是 data。configSet：用于配核心的已定义配置集的名称。

这里注意一个点拷贝原来数据到新目录时一定要全部拷贝，包括solr.xml 文件 我报错的原因就是没有拷贝solr.xml，其实注释已经说的很清楚了,当时没注意到。找到solr的solr.in.sh配置 文件，一般再安装目录的bin目录下，我的是/opt/solr/bin,修改SOLR_HOME为新数据目录。dataDir 用于指定索引数据的位置，默认情况下，== Solr 将其索引数据存储在 ${core_home}/data 目录==中。上传配置文件 以及新建core。1、设置路径并拷贝数据。

1.建立文件 docker-compose-spark.yaml搭建spark集群

jupyter 常用设置

11

presto 和hive 在工作中常用函数

mac 卸载 python

Virtual Environments and Packages创建一个虚拟环境python3 -m venv tutorial-env激活虚拟环境windowtutorial-env\Scripts\activate.batUnix or MacOSsource tutorial-env/bin/activate$ source ~/envs/tutorial-env/bin/activate(tutorial-env) $ pythonPython 3.5.1 (de

selenium 初试from selenium import webdriverfrom time import sleepfrom lxml import etree#新建一个类bro = webdriver.Chrome()#发起请求bro.get('https://www.taobao.com/')#获取页面源码数据page_text = bro.page_source#解析数据tree = etree.HTML(page_text)bro.quit()selenium

linux配置chrome+selenium1. 安装chrome配置yum下载源：在目录 /etc/yum.repos.d/ 下新建文件 google-chrome.repo, 并且在该文件中添加如下内容：[google-chrome]name=google-chromebaseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearchenabled=1gpgcheck=1gpgkey=https://dl-ssl.google.

Mac电脑安装chromedriver为了方便起见，建议使用brew下载，就不会遇到需要移动文件的操作了。推荐下面网址https://www.jianshu.com/p/a9df5135a3a3