wengyupeng
码龄15年
  • 2,672,454
    被访问
  • 345
    原创
  • 649,454
    排名
  • 262
    粉丝
关注
提问 私信

个人简介:在等待中爆发

  • 加入CSDN时间: 2007-03-23
博客简介:

wengyupeng 蜗牛一步一步向前。。。

博客描述:
数据工厂
查看详细资料
个人成就
  • 获得189次点赞
  • 内容获得160次评论
  • 获得542次收藏
创作历程
  • 18篇
    2019年
  • 20篇
    2018年
  • 27篇
    2017年
  • 41篇
    2016年
  • 71篇
    2015年
  • 3篇
    2014年
  • 18篇
    2013年
  • 14篇
    2012年
  • 65篇
    2011年
  • 22篇
    2010年
  • 38篇
    2009年
  • 110篇
    2008年
成就勋章
TA的专栏
  • Database
    112篇
  • Java
    52篇
  • ABAP
    52篇
  • IOS
    46篇
  • SAP FICO
    33篇
  • SAP Basis
    33篇
  • Spark
    32篇
  • Linux
    59篇
  • Python
    13篇
  • Algorithm
    16篇
  • Hive
兴趣领域 设置
  • 数据库管理
    数据仓库
  • 最近
  • 文章
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

Linux Vim Python自动补全 自动提示

Pydiction 可以让vi/vim 使用Tab键自动补全Python代码。Pydiction没有任何依赖包,主要包含三个文件。1. 下载Pydictioncd ~/.vim/bundlegit clone https://github.com/rkulla/pydiction.git2. 配置Pydiction #- UNIX/LINUX/O...
原创
发布博客 2019.09.02 ·
3239 阅读 ·
4 点赞 ·
0 评论

数据仓库架构:传统&云的对比

Data Warehouse Architecture: Traditional vs. CloudData warehouse architecture is changing. Learn about traditional EDW vs. cloud-based architectures with lower upfront cost, improved scalability and...
翻译
发布博客 2019.07.30 ·
1975 阅读 ·
1 点赞 ·
0 评论

通过mongo-hadoop(pymongo_spark)从PySpark保存数据到MongoDB

一、背景PySpark to connect to MongoDB via mongo-hadoop二、配置步骤 (注意版本作相应调整,spark-2.4.3,hadoop2.7,Scala2.11)1. # Get the MongoDB Java Driver#PROJECT_HOME 自定义的项目根目录,下面存放spark等mkdir -p $PR...
原创
发布博客 2019.07.12 ·
716 阅读 ·
1 点赞 ·
0 评论

Jupyter Notebook 字体设置& 代码自动提示补全

作者:湫兮出处:https://www.cnblogs.com/qiuxirufeng/p/9609031.html1.首先是主题下载,命令行如下所示:pip install --no-dependencies jupyterthemes==0.18.22. 安装好了,有的电脑可能会提示缺少 lesscpy,继续 pip 安装pip install lesscpy...
转载
发布博客 2019.07.12 ·
2829 阅读 ·
3 点赞 ·
0 评论

Python(pyspark) only supports DataFrames and not RDDs

一、背景用Mongo Spark Connector 来连接 python(pyspark)和MongoDB:二、问题报下面错误:Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.saveAsNewAPIHadoopFile.: java.l...
原创
发布博客 2019.07.12 ·
173 阅读 ·
0 点赞 ·
1 评论

Docker Jenkins 连接agent:SSH key presented by the remote host does not match the key saved in the Know

一、背景物理机A 上安装了Docker, Docker 上有container JenkinsJenkins 要配置连接物理机A作为agent A(因为要在物理机A上执行一些Job)。二、问题在Jenkins->nodes下 配agent, 选的 launch slave agents via SSH[07/10/19 09:35:19] ...
原创
发布博客 2019.07.10 ·
1241 阅读 ·
0 点赞 ·
0 评论

Python in worker has different version 2.7 than that in driver 3.6

一、问题Exception: Python in worker has different version 2.7 than that in driver 3.6, PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIV...
原创
发布博客 2019.06.05 ·
1715 阅读 ·
2 点赞 ·
0 评论

shell 下python/PySpark 代码高亮和 自动提示 代码补全

1. 用法1. pip install "ptpython==0.41"#默认最新版本 ptpython-2.0.4 有bug, 自动提示不起作用。0.41的没问题#pip版本(pip --version),决定你装的库基于python2 还是3.2. export PYSPARK_DRIVER_PYTHON=ptpython;...
原创
发布博客 2019.06.04 ·
1038 阅读 ·
0 点赞 ·
0 评论

spark:pyspark shell python tab自动提示

1. home dir 下创建.pythonrc ~> vi .pythonrcimport rlcompleter, readlinereadline.parse_and_bind('tab: complete')2. 在shell的启动文件添加.pythonrc 查看是那种shell。 如果是csh , startup file是.cshr...
原创
发布博客 2019.06.04 ·
506 阅读 ·
0 点赞 ·
0 评论

Alpine pyspark ModuleNotFoundError: No module named 'zlib'

一、问题(在Alpine 上装好spark, 运行 pyspark)bash-4.4# pysparkPython 3.6.5 (default, May 30 2019, 09:48:14)[GCC 6.4.0] on linuxType "help", "copyright", "credits" or "license" for more information.Traceb...
原创
发布博客 2019.05.31 ·
3664 阅读 ·
0 点赞 ·
0 评论

Alpine Linux 安装 python3.6

1: 下载 Code$ wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz2: 准备环境//gcc --version 检查是否已经安装 ,若 bash: gcc: command not found 说明没安装apk add build-base //install GCC on...
原创
发布博客 2019.05.31 ·
12647 阅读 ·
0 点赞 ·
3 评论

docker bash: vi: command not found

1. 问题vi /tmp/root/hive.logbash: vi: command not found2. 办法# cat /etc/issueDebian GNU/Linux 8# apt-get update# apt-get install vim
原创
发布博客 2019.05.23 ·
773 阅读 ·
0 点赞 ·
0 评论

Java 什么是 CAS? 通俗易懂

Java 并发机制实现原子操作有两种: 一种是锁,一种是CAS。 CAS是Compare And Swap(比较并替换)的缩写。 java.util.concurrent.atomic中的很多类,如(AtomicInteger AtomicBoolean AtomicLong等)都使用了CAS。一. 示例: CAS机制当中使用了3个基本操作数:内存地址V,旧...
原创
发布博客 2019.05.15 ·
11090 阅读 ·
32 点赞 ·
4 评论

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

1. 问题hive> LOAD DATA LOCAL INPATH '/root/data/cities.csv' OVERWRITE INTO TABLE cities;Loading data to table default.citiesFailed with exception Unable to move source file:/root/data/cities.cs...
原创
发布博客 2019.05.13 ·
12707 阅读 ·
1 点赞 ·
0 评论

Cannot create directory /tmp/hive/root/xxx. Name node is in safe mode

1. 问题 Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/root/153df88d-1ef5-401b-bd81-d3026412e732. Name ...
原创
发布博客 2019.05.13 ·
373 阅读 ·
2 点赞 ·
0 评论

hive:command not found in ubuntu /hdfs: command not found /hadoop:command not found

1、问题 hive:command not found in ubuntu hdfs: command not found hadoop:command not found2、解决方法# echo $SHELL/bin/bash#添加红色变量到.bashrcvi ~/.bashrcexport HIVE_HOME=/usr/local/...
原创
发布博客 2019.05.13 ·
611 阅读 ·
1 点赞 ·
0 评论

Caused by: java.util.zip.ZipException: invalid LOC header (bad signature)

1.  错误Exception in thread "main" java.lang.IllegalStateException: Failed to read Class-Path attribute from manifest of jar file:/C:/Users/.m2/repository/com/sun/jersey/jersey-client/1.19.1/jersey-cl...
原创
发布博客 2019.02.26 ·
1398 阅读 ·
0 点赞 ·
0 评论

pull access denied for frolvlad/alpine-oraclejdk8, repository does not exist or may require '

一、问题 Step 1/6 : FROM frolvlad/alpine-oraclejdk8:slimERROR: Service 'config-server' failed to build: pull access denied for frolvlad/alpine-oraclejdk8, repository does not exist or may require 'dock...
原创
发布博客 2019.02.23 ·
5497 阅读 ·
0 点赞 ·
1 评论

二叉排序树相对哈希表的优点 Advantages of Binary Search Tree over Hash Table

1.  Binary Search Trees (reference-based) are memory-efficient. They do not reserve more memory than they need to.     For instance, if a hash function has a range R(h) = 0...100, then you need to a...
转载
发布博客 2018.12.17 ·
373 阅读 ·
1 点赞 ·
0 评论

图解—创建堆

转自: https://blog.csdn.net/u013254061/article/details/52514599 一.堆堆数据结构是一种数组对象,它可以被视为一棵完全二叉树结构。它的特点是父节点的值大于(小于)两个子节点的值(分别称为大顶堆和小顶堆)。 二.堆的创建过程给定n个数,从n/2个节点开始,依次构建堆,直到第一个节点。举例: 给定数组{5,23,3...
转载
发布博客 2018.12.17 ·
1970 阅读 ·
1 点赞 ·
0 评论
加载更多