u011739062的博客

原创 mysql工具可以连，jdbc程序不能连问题

https://www.cisco.com/c/zh_cn/support/docs/security/hostscan/117097-trouble-java7-00.html处理禁用ipv6，重连vpn

原创 jupyterlab跨域

jupyterhub +jupyterlab(单机)错误信息Refused to display 'http://172.25.56.107:8000/user/wangtest/lab?' in a frame because an ancestor violates the following Content Security Policy directive: "frame-an...

原创 Apache toree只显示default表

https://issues.apache.org/jira/browse/TOREE-411

原创 android安装window-xp

http://tieba.baidu.com/p/5552349351?pv=1&red_tag=d0654662015https://www.onlinedown.net/soft/590276.htm

转载 pyspark

原创 k8s-tcp

1.ngixn-ingress 配置ip-hash2.tcp的websocket服务hello-app.yaml server ingress.yaml route ingress-controller.yaml default ingress-service.yaml tcp-services-configmap.yaml tcp 3...

原创 jupyterhub+k8s+spark/yarn

1.生产集群若是是Spark/Yarn，方便集成(docker内部链接到现有spark on yarn集群)2.自定义镜像 2.1 work机上安装python3.7 link到/opt/conda/bin/pythonFROM jupyter/all-spark-notebook:2ce7c06a61a1ENV HADOOP_HOME /usr/local/hadoop...

原创 jupyterhub-k8s-patch

1.NFS 1.test001安装NFS (https://www.cnblogs.com/st-jun/p/7742560.html) 2.权限、目录设置[root@test001 home]# cat /etc/exports/new_disk/nfs 192.168.56.0/24(rw,anonuid=1000,anongid=100)[root...

原创 jupyterhub-k8s

1、环境 win7、vituralblx(3)、cetnos7、k8s1.15.2、NFS https://blog.csdn.net/u011739062/article/details/99643177 https://mp.csdn.net/postedit/994731452.安装jupyterhub(k8s) 官网地址：http...

原创 k8s安装

1、环境centos7 \ docker1.8\ k8s版本v1.15.22、参考 https://www.kubernetes.org.cn/5551.html https://www.twblogs.net/a/5c9e8406bd9eee73ef4b63fd https://blog.csdn.net/tangwei0928/article/detail...

原创 nfs

1.启动 NFS-Server服务192.168.56.103（k8s master）宿主机 /tmp/nfs容器里 /nfshttps://blog.csdn.net/Aria_Miazzy/article/details/85237758只读ro 读写 rwhttps://www.jianshu.com/p/38e1c81af9bd=================...

原创 openldap+phpadmin

1.openldapdb-4.7.25.tar.gz openldap-2.4.47.tgz2.phpadmin这里phpadmin没有显示增加用户，在slapd.ldif增加即可include: file:///usr/local/openldap/etc/openldap/schema/core.ldifinclude: file:////usr/local/o...

原创 k8s部署zookeeper

https://medium.com/rahasak/kafka-zookeeper-cluster-on-kubernetes-43a4aaf27dbb# create deploymentkubectl create -f zk-deployment.yaml# view podskubectl get pods# create servicekubectl create -f...

原创 jupyterhub-little

1、环境 单台虚拟机centos7、docker1.82、结构&组件3、安装反向代理：nginx(可以不用，本身它有代理服务)验证服务：启动一个容器centos:latest安装ldap做验证服务器元数据库：这里用mariadbhub服务：启动一个容器centos:latest 用pip安装jupyterhub ...

转载 hiveserver2分开部署问题

http://itxw.net/article/171.html

原创 livy-003界面不显示applicationId

在livy的saprk客户端conf目录下增加lrwxrwxrwx. 1 hadoop hadoop 44 7月 12 16:53 yarn-site.xml -> /home/hadoop/hadoop/etc/hadoop/yarn-site.xml

原创 VUE+ ngnix代理

listen 8082; server_name 3a.xxx.com; location /api/ { proxy_pass http://localhost:9090/; } location / { roo...

转载 spark集群

http://blog.51yip.com/hadoop/2022.html

原创 spark虚拟机测试

docker run --name hadoop1 --net mynetwork --ip 172.18.0.3 --add-host hadoop1:172.18.0.3 --add-host hadoop2:172.18.0.4 \--add-host hadoop3:172.18.0.5 -d \-p 5002:22 \-p 9870:9870 \-p 8088...

原创 hive003

引用https://blog.csdn.net/ddydavie/article/details/80667727http://blog.cheyo.net/65.html测试虚拟机4G内存bin/beeline --color=true --fastConnect=true -u jdbc:hive2://swarm1:10000 -n root -p ""1.spark连接...

转载 mysql查看容量

http://www.php.cn/mysql-tutorials-401945.html

原创 livy-2

上传一个文件，并且读取验证这个文件这个是livy本机的设置的路径，读取的时候也是用这个文件people.json文件内容{"age": 10,"name": "大宇" }{"age": 30,"name": "大歌" }{"age": 90,"name": "TOM" }curl -X POST --data '{"files":["file:/root/new_dev/wo...

原创 livy-1

0.引用https://blog.csdn.net/qq_28652401/article/details/835067671.livy使用livy-confexport SPARK_HOME=/root/new_dev/worsk/my_spark/spark-2.4.0-bin-hadoop2.6export HADOOP_CONF_DIR=/root/new_dev/worsk/...

转载 jersey官方demo

https://www.geekmj.org/jersey/jax-rs-multiple-files-upload-example-408/

转载 ipv6禁用

https://blog.csdn.net/rznice/article/details/54016689

原创 livy- Programmatic API

官网示例https://livy.incubator.apache.org/docs/latest/programmatic-api.html1.安装好livy2.编写客户端

原创 秦时百度登录

秦时百度登录预设目标前提条件使用工具修改过程预设目标smali修改测试尝试去掉BDGameSDK登录(联网)前提条件秦时1的apk使用工具jeb2.2.7+sublime+apkTool.jar+autoSign修改过程BDGameSDK主要2个方法logininit由于第三方jar代码混淆且逻辑复杂，于是尝试绕过编译-反编译使用BDGameSDk2....

原创 Flume1.7 源码编译

ua-parser-1.3.0问题直接下载https://github.com/tobie/ua-parser/源码直接编译ua-parser-1.3.0.jar上传自己公司仓库dependency> groupId>ua_parsergroupId> artifactId>ua-parserartifactId> version>1.3.0version>d

原创 NAT 穿透

一、元素STUN  获取内、外二元组TURN 比如【Symmetric NAT】使用relay最终保证成功 ICE   狭理解为STUN和TURN的聚合框架二、简易实现   1 .引用老司机          http://www.hankcs.com/program/network/actual-rfc5766-turn-server-and-ice4j-wide-are

原创 docker-registry

############https://docs.docker.com/get-started/#######docker pull registry########registry                   latest              177391bcf802        2 weeks ago         33.3MB########启动 d

原创 flume到kafka动态topic

json日志使用拦截器，字段取出放到header里a1.sources.r1.interceptors = i1a1.sources.r1.interceptors.i1.type = regex_extractora1.sources.r1.interceptors.i1.regex = "自定义字段":"(\\w+)"a1.sources.r1.interceptors

原创 log4j ----->flume

通过log4j 传输 json到 flume1.7方式一:使用avro + flume-ng-log4jappender + 重写appenderlog4j.appender.flume=com.log.SubLog4jAppender message和stackTrace 以及自定字段 hostName----->封装json数据----->flumeEvent

原创 统一日志系统

GrayLog2  + kafka

转载 rabbitmq

step1安装erlang环境otp_src_18.1.tar.gzstep2安装rabbitmqrabbitmq-server-generic-unix-3.6.1.tarstep31server start2add_user myname 1234563set_user_tags wly Administrator4set_permissioms -p / my