- 博客(14)
- 收藏
- 关注
RSS订阅原创 centos用docker方式部署selenium脚本
1.安装centos7dockerhttps://blog.csdn.net/weixin_39726347/article/details/870707952.安装gnu和配置vnchttps://blog.csdn.net/weixin_39726347/article/details/869347973.python环境yum -y groupinstall "Development tools"wget https://www.python.org/ftp/python/3.8.9/
2022-05-17 15:02:40
452
原创 消息队列高手课-李玥（学习笔记）
概述1.RabbitMQErlang语言编写，支持AMQP协议，轻量级。和其他消息队列不同的是，它在生产者（Producer）和队列（Queue）之间增加了一个 Exchange 模块，你可以理解为交换机。这个 Exchange 模块的作用和交换机也非常相似，根据配置的路由规则将生产者发出的消息分发到不同的队列中。对消息堆积的支持并不好。性能差。Erlang学习曲线非常陡峭。2.RocketMQ阿里巴巴开源项目，有着不错的性能，稳定性和可靠性，非常活跃的中文社区。Java开发。对在线
2022-05-05 11:16:47
655
原创 docker容器无法启动
使用docker部署hive时遇到以下错误：ERROR: for namenode Cannot start service namenode: Ports are not available: listen tcp 0.0.0.0:50070: bind: An attempt was made to access a socket in a way forbidden by its access permissions.管理员身份打开cmd执行以下命令即可net stop winnatn
2022-04-14 10:32:54
2155
原创 使用docker学习centos下安装hive
1.拉镜像docker pull centos:centos72.创建容器docker run -itd --name centos centos:centos73.终止容器docker container stop centos4.启动容器docker container start centos5.进入容器docker exec -it centos /bin/bash
2022-04-13 10:17:55
541
原创 用docker搭建hadoop、hive环境
git clone git@github.com:big-data-europe/docker-hive.gitcd docker-hivedocker-compose up -ddocker-compose exec hive-server bash/opt/hive/bin/beeline -u jdbc:hive2://localhost:10000CREATE TABLE pokes (foo INT, bar STRING);LOAD DATA LOCAL INPATH .
2022-04-12 17:57:27
1794
原创 python 函数装饰器和闭包
装饰器装饰器是可调用的对象，其参数是另一个函数（被装饰的函数），在加载模块时立即执行。只是语法糖，可以像常规的可调用对象那样调用，其参数是另一个函数。装饰器执行在被装饰的函数定义之后立即运行，通常是在导入时（python加载模块）函数装饰器在导入模块时立即执行，而被装饰的函数只在明确调用时运行。1.装饰器函数通常在一个模块中定义，然后应用到其他模块中的函数上。2.大多数装饰器会在内部定义一个函数，然后将其返回。3.很多python web框架原封不动返回被装饰的函数，把函数添
2022-03-14 17:40:22
1135
原创 python 把函数视作对象
一等函数一等对象：1.在运行时创建2.能赋值给变量或数据结构中的元素3.能作为参数传给函数4.能作为函数返回结果把函数视作一等对象，简称“一等函数”函数__doc__属性用于生成对象的帮助文本map(fuction, list[])函数，接收一个函数和一个list，通过把函数依次作用在list的每一个元素上，返回一个可迭代对象。可以通过list()转换，得到一个新的list并返回，即list(map(function, list))高阶函数接收函数为参数，或返回函数作
2022-03-14 11:23:25
1251
原创 scrapy入门
1.pip安装scrapypip install scrapy2.新建项目scrapy startproject xxx3.定义采集模型 items.py4.制作爬虫scrapy genspider <spider_name> <url>5.运行爬虫scrapy crawl <spider_name>6.按格式输出文件scrapy crawl <spider_name> -o xxx.json(xml、csv)
2022-03-03 17:09:24
355
原创 阿里巴巴大数据实践-读书笔记
数据爆炸式增长，采集、储存、计算，挑战。日志采集：AplusJS web端；UserTrack app端。离线计算、实时计算，构建统一、规范、可共享。从数据计算频率角度分为：离线数据仓库 T+1实时数据仓库数据加工链路分层：1、...
2022-03-02 10:27:28
2172
原创 superset migrate命令
1.flask db revision 或者 superset db migrate -m "xxxx"2.修改生成的superset/migrations/versions/xxxxxxx.py文件3.superset db upgrade4.superset db stamp heads
2022-02-21 17:41:10
254
原创 centos下安装并使用jenkins
一.安装1.参考官方步骤：Redhat Jenkins Packages2.修改Jenkins配置文件执行命令 vim /etc/sysconfig/jenkins 进行修改，将用户修改为root3.修改目录权限chown -R root:root /var/lib/jenkins /var/cache/jenkins /var/log/jenkins4.启动jenkinssystemctl start jenkins5.初始化并配置docker安装jenkins并
2022-02-15 13:56:37
355
原创 docker安装jenkins并完成jenkins配置
一.安装1.下载docker镜像docker pull jenkins/jenkins:lts2.启动容器docker run -d --name jenkins -p 8081:8080 -v D:/docker/jenkins:/var/jenkins_home jenkins/jenkins:lts二.配置1.解锁、安装推荐的插件、创建用户2.新建项目3.进入容器docker psdocker exec -it <docke...
2022-02-14 16:51:34
582
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人