- 博客(25)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Spark 3.0新特性 - 动态分区裁剪
Spark 3.0 new features - Dynamic Partition Pruning什么叫Portioning Pruning？ 翻译成中文就是分区裁剪，简单说就是数据过滤，只从必要的分区拿数据，通过减少IO以提高性能。那为什么叫Dynamic Portioning Pruning，动态分区裁剪？为了理解这个概念，我们先理解一下static partition pruning，即静态分区裁剪。静态分区裁剪现有SQL如下Select * from Students where sub
2022-05-03 23:32:10
1934
翻译 Redshift Work Load Management（WLM）
Redshift Work Load Management（WLM）Amazon Redshift 工作负载管理 (WLM) 使用户能够灵活地管理工作负载中的优先级，这样短期、快速运行的查询就不会卡在长时间运行的查询后面的队列中。基本上，当我们创建一个 redshift 集群时，它附加了默认的 WLM 配置。 在默认配置中，有两个队列。 第一个是并发为 1 的超级用户，第二个队列是并发为 5 的其他用户的默认队列。这意味着用户可以并行运行多达 5 个查询。 因此，例如，如果此队列有 5 个长时间运行的查
2022-01-06 12:51:18
526
原创 autossh 实现反向隧道
autossh 实现反向隧道前提条件安装cygwin配置ssh把autossh做成系统服务前提条件有一个公网IP的云主机安装cygwin安装cygwin是为了安装autossh, 如果是macos或者其它linux平台， 可以跳过这一步。从cygwin.org下载cygwin安装文件开始安装，安装源我用的是163， 如果源列表里没有找到， 可以手动添加http://mirrors.163.com/cygwin安装包选择autossh和openssh安装结束后生成一下ss
2021-06-14 14:09:29
452
原创 ModSecurity Method Not Allow的解决方法
ModSecurity Method Not Allow的解决方法今天项目上线, 碰到了一个网站打不开的问题. 看了modsec_audit.log后看到的信息是Method is not allow by policy做了一些调查, 发现ModelSecurity 默认只允许GET HEAD POST OPTIONS几个方法, 这部分内容定义在REQUEST-901-INITIALIZATION.conf这个文件中# Default HTTP policy: allowed_methods
2020-09-11 19:28:35
580
原创 文件列一致性检查
文件列一致性检查在一份数据文件中, 如果严格按照约定好的文件分隔符, 那么每一行的列数应该是一样的. 如果出现某一行的列数不一样, 则说明文件格式有问题.这里是一份例子文件. 下列的文件内容如下:Name;Age:AddrJacket;28;No101, Road A, City B这是一个包含三个列的文件, 列分隔符是’;’我们可以用下面的命令检查第一行的列数awk -F\; '{print NF}' test.txt上述命令的返回应该是如下33会返回2行结果, 每
2020-09-08 23:52:31
991
原创 modsecurity troubleshoting
modsecurity troubleshoting最近上了modsecurity做waf, 但几个正常页面报403了, 看页面上的显示错误, 是modsecurity拦截了.这个页面上是通过执行sql返回结果的, 估计是被识别成了sql注入.分析问题打开audit日志首先要打开modsecurity的audit log, 默认是已经打开 了, 位置在/var/log/modsec_audit.log. 如果没有打开 可以参考以下步骤.配置文件**/etc/nginx/modsec/mods
2020-09-01 15:14:11
673
原创 Installation and configuration of ModSecurity on CentOS 7
Installation and configuration of ModSecurity on CentOS 7Install NginxInstall the prerequisites:sudo yum install yum-utilsTo set up the yum repository, create the file named /etc/yum.repos.d/nginx.repo with the following contents:[nginx-stable]nam
2020-08-23 22:56:00
130
原创 Create SFTP server
Create SFTP serverCreate user groupgroupadd sftpCreate useruseradd sftpuserpasswd sftpuserusermod -s /sbin/nologincreate data directorymkdir -p /opt/sftpdata/sftpuserchwon -R root.sftp /opt/sftpdata/sftpusermkdir -p /opt/sftpdata/sftpuser/inpu
2020-08-18 16:40:00
95
原创 windows和linux安装superset并使用postgresql和redis
windows安装superset安装python 环境安装python 3.x, 这个不用说了安装virtualenv, 虚拟一个环境出来mkdir supersetcd supersetvirtualenv venvvenv\Scripts\activate.bat安装superset先升一下pip和setup toolpip install --upgrade setuptools pip到 https://www.lfd.uci.edu/~gohlke/
2020-07-04 18:55:27
746
原创 Superset Docker 安装并配置https证书
Superset Docker 安装并配置https证书下载源码git clone https://github.com/apache/incubator-superset/配置新建几个目录, 用来做docker的volumns sudo mkdir -p /opt/superset/superset-frontend/node_modules sudo mkdir -p /opt/superset/superset_home sudo mkdir -p /opt/superset/re
2020-06-30 19:08:22
989
原创 在国区使用Athena JDBC Driver的问题
AWS Athena JDBC Driver在国区使用Athena JDBC Driver的问题扩展:在国区使用Athena JDBC Driver的问题关于如何用SQL Workbench连Athena查数据, Athena的官方文档有详细的步骤. 但当我按照步骤一步步走下来后, 发现无数正常查到数据, 在console上也看不到有记录.错误信息如下:[Simba][AthenaJDBC](100131) An error has been thrown from the AWS SDK clie
2020-05-13 18:40:22
1366
原创 启用onedrive for personal
Computer\HKEY_CURRENT_USER\Software\Microsoft\OneDriveDisablePersonalSync=0
2018-11-19 00:51:39
1754
原创 spark配置代理
主要是spark.driver.extraJavaOptions和spark.executor.extraJavaOptions两个参数可以写到配置文件里，spark.driver.extraJavaOptions "-Dhttp.proxyHost=<> -Dhttp.proxyProt=<> -Dhttps.proxyHost=<> -Dht
2018-11-05 11:08:11
1749
原创 Install docker onSUSE enterprise
https://www.suse.com/documentation/sles-12/singlehtml/book_sles_docker/book_sles_docker.html
2018-10-23 16:57:25
960
原创 Pandas DataFrame写数据到oracle
导入sqlalcheme import sqlalchemy写连接串oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...]to_sql写入数据from sqlalchemy import create_engineconn_string='oracle+cx_oracle://user:p...
2018-10-10 13:28:56
9684
1
原创 PySpark整合Jupyter Notebook
PySpark整合Jupyter Notebook主要是两个变量export PYSPARK_DRIVER_PYTHON=jupyterexport PYSPARK_DRIVER_PYTHON_OPTS=notebook然后直接启动pyspark$SPARK_HOME\bin\pyspark窗口中的消息输出会给出端口号[I 14:59:08.242 NotebookApp] 0 ...
2018-09-26 12:20:16
1020
1
原创 change matplotlib figure size
方法1import matplotlib.pyplot as pltGet current sizefig_size = plt.rcParams["figure.figsize"]Prints: [8.0, 6.0]print "Current size:", fig_sizeSet figure width to 12 and height to 9fig_size[0]...
2018-08-30 14:40:59
3513
原创 supervisor+nginx+cesi
欢迎使用Markdown编辑器写博客先留个坑，项目完了再完善 supervisor with python3 support https://github.com/Supervisor/supervisorrun nginx in foreground so that it can be managed by supervisor add this in conf - daemon ...
2018-08-17 14:57:14
736
原创 Docker镜像的打包部署
Docker镜像的打包部署启动个dockerdocker run -it centos在这个docker上做些修改touch readme.md /tmp查看修改的内容docker diff <id>提交修改到镜像docker commit <id> centos:update看一下镜像有没有保存好...
2018-06-19 14:22:20
9249
原创 在centos上安装docker
在centos上安装docker原文：https://docs.docker.com/install/linux/docker-ce/centos/ https://docs.docker.com/compose/install/ 1. 确保机器上没有旧版本sudo yum remove docker \ docker-cl...
2018-04-30 10:19:40
297
原创 Spark Standalone
spark standalone在windows和linux上的启动不一样, 分别是 windows: 开始一个master ./spark-class org.apache.spark.deploy.master.Master 开始一个worker ./spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT
2017-09-05 20:19:21
237
原创 CentOS 安装pip
在centos7上安装pip的方法curl "https://bootstrap.pypa.io/get-pip.py" -o "get-pip.py" python get-pip.py
2017-09-05 19:16:55
1577
原创 Mapreduce和yarn的内存配置
Methods used to determine the best values for your workloadType 1. Calculated. They can be set once. E.g.yarn.nodemanager.resource.memory-mb=163840 . It is Total physical memory size (in this case 216
2017-08-16 17:50:39
414
原创 手工安装CDH Hadoop 单结点
官方文档https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_cdh5_install.html#concept_gp2_q32_24先决条件安装好JDK, 设置好JAVA_HOME设置cloudera的repocd /etc/yum.repos.d/sudo wget https://archive.clo
2017-08-15 20:01:24
459
原创 Windows 10 安装spark
Windows 10 安装spark安装Java安装Java JDK, 注意, 安装路径不能有空格, 比如c:\program files\java是不行的, 我是装在c:\Java安装好后设置环境变量JAVA_HOME=c:\Java\jdk_path安装winutils上https://github.com/steveloughran/winutils/tree/master/ 下载wi
2017-08-13 21:31:25
313
AWS SAP.pdf
2020-03-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人