王冬的csdn

原创 mac+CLion+redis6.2本地源码调试

【代码】mac+CLion+redis6.2本地源码调试。

原创 使用yum源安装docker

安装docker

原创 Redis数据结构及命令汇总

原创 linux下redis服务部署

1.下载源码包并解压wget http://download.redis.io/releases/redis-5.0.5.tar.gztar xf redis-5.0.5.tar.gz2.进入解压出来的目录并编译cd redis-5.0.5makemake install PREFIX=/opt/wd/redis5编译完可以运行make test 测试一下，比较耗时，也可以跳过。此时/opt/wd/redis5下会生成/bin目录3.修改环境变量vi /etc/profile#添加

原创 ambari + vmware+centos7 搭建 hadoop 集群

ambari + vmware+centos7 搭建 hadoop 集群1.环境准备1.宿主机准备1.创建一台虚拟机2.网络配置3.JDK安装4.克隆三台虚拟机1.环境准备1.宿主机准备1.创建一台虚拟机利用vmware+centos7 创建虚拟机，具体创建流程自行百度我的配置是：4c 6G 50G 网络选择nat 连接先创建一台然后直接其他主机直接克隆2.网络配置运行vi /etc/sysconfig/network-scripts/ifcfg-ens33修改内容如下：TYPE=Et

原创 Spark sql 之 DataFrame 与 RDD相互转换

一 、RDD转DataFrame通过 case class 创建 DataFramesimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextobject TestDataFrame { def main(args...

原创 Spark读取Kafka数据存入redis

1. 构建一个scala项目具体构建过程可参考：https://blog.csdn.net/weixin_44122028/article/details/1038815082. 依赖配置如下name := "SparkStreamingReadKafka"scalaVersion := "2.10.5"organization := "com.dd"//添加依赖library...

原创 scala操作kafka

创建sbt eclipse 项目详情请参考：https://blog.csdn.net/weixin_44122028/article/details/103881508加入kafka依赖name := "FirstKafka4Sbt"scalaVersion := "2.11.11"autoScalaLibrary := falseorganization := "com.tl...

原创 MapReduce实现left join 操作

1、依赖 <properties> <hadoop.version>2.7.3</hadoop.version> </properties> <dependencies> <dependency> <groupId>org.apache.ha...

原创 SBT + eclipse 构建scala项目

SBT构建scala项目1.环境准备1.环境准备我已分享软件资源到百度网盘，需要的自行下载百度网盘链接：jdk 1.8安装过程自行百度scala 2.10.4下载地址1 scala官网： http://www.scala-lang.org/downloads下载地址2 本人网盘：https://pan.baidu.com/s/1-00jojFnIGuv64e7jsY1BA 提取码...

原创 python 递归替换 路径下的文件名和文件夹名中的某些字符

python 递归替换 路径下的文件名和文件夹名中的某些字符方便批量修改文件夹名和文件名#!/usr/bin/env python3# -*- coding: utf-8 -*-import sys, string, os# path:文件路径 prefix：想替换成的内容 fix：想替换掉的内容def RenameFiles(path,prefix,fix): #获取目录下所...

原创 python+selenium多线程爬虫爬取boss直聘

python+selenium多线程爬虫爬取boss直聘1.环境准备2.获取列表页url3. 正式爬取1.环境准备1.搭建python环境（强烈建议安装 Anaconda)2.pip install selenium（其他依赖模块也一样）3.Chrome driver安装（具体安装方法自行百度）4.还需要一个开发工具如：pyCharm（也可以用Anaconda 的jupyter note...

原创 将博客搬至CSDN

开源社区在本人程序员生涯起到了至关重要的作用，为方便管理，现将博客迁至csdn，希望为开源社区贡献自己的绵薄之力。

原创 Sbt 配置国内镜像

在家目录下的 .sbt 文件夹新建文件repositories 文件 ps:如我的家目录是C:\Users\lenovo\.sbt添加如下内容到文件里[repositories]localmaven-local : file:////D:/java_space/maven/repository/aliyun-nexus: http://maven.aliyun.com/nexus/...

原创 spark sql 之 RDD与DataFrame互相转化

一、RDD转DataFrame　　方法一：通过 case class 创建 DataFramesimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextobject TestDataFrame { def main...

原创 Base64编码和解码工具

Base64编码和解码操作是最典型、最常用的技术之一，在很多数据传输项目开发当中均会有所涉及，故工具之。import java.io.ByteArrayOutputStream;/** * base64编码和解码工具类 */public class Base64Util { private static final char[] base64EncodeChars = n...

原创 BDB数据库操作工具化

import java.io.File;import com.sleepycat.je.Database;import com.sleepycat.je.DatabaseConfig;import com.sleepycat.je.DatabaseEntry;import com.sleepycat.je.DatabaseException;import com.sleepycat....

原创 String、StringBuffer、StringBuilder三者的区别

三者运行速度关系为：StringBuilder > StringBuffer > StringString为字符串常量，而StringBuilder和StringBuffer均为字符串变量，即String对象一旦创建之后该对象是不可更改的，但后两者的对象是变量，是可以更改的。StringBuilder是线程不安全的，而StringBuffer是线程安全的。所以：String：...

原创 常见的数组排序方法

import java.util.Arrays;public class mysort { public static void main(String[] args) { int[] arr = { 36, 51, 43, 12, 54, 68, 89, 53, 26, 5, 84, 9, 8, 4, 52 }; System.out.printl...

原创 drop,delete,truncate 三者的异同点

相同点：都是删除语句，可实现删数据需求，被支持的数据库产品比较多。差异点：drop table：删除表，一般关系型数据库的实现都是元数据和实体数据都删。但在数据仓库如hive中是有内外表的区分的(内表元数据和实体数据都删除,外表只删除元数据，因为外表实体数据不归hive管) delete：一般关系型数据库都支持，只删实体数据，不改变任何元数据，但如hive之类数据仓...

原创 redis 常用命令

1.key 常用命令set key value //设置 kv 对get key //通过给定 key 获取其对应的 value del key // 删除指定的 keydump key //返回 key 对应的序列化后的值exists key //检查给定 key 是否存在expire key seconds //给指定 key 设置失效时...

原创 git shell应用

1 linux git shell使用1.1 git 安装 一般的linux发行套件都是自带git工具的，如果不带，则使用yum安装即可yum install git1.2 git 配置 用户名和邮箱配置，方便与仓库间做交互时候标记来源，即自报家门 以下为全局配置，该用户做如下配置后，该用户下的所有操作均会标记这两个用户属性。git ...

原创 java单线程简单爬虫

要求：1.给定了一个网页网址(URL)，这个就是我们爬虫项目的入口网页，从哪开始爬http://roll.news.sina.com.cn/news/gnxw/gdxw1/index.shtml2.把当天的新闻内容全部爬取保存到本地文件中3.方便以后我们可以迅速查找(在本地文件中)某个新闻，供我们做分析使用这里为了简化，我们的要求就是找到对应的新闻内容打印输出到控制台System.ou...

原创 MySQL查询语句实操练习

题目:新建一个数据库ClassManager，包括四个表：学生表(Student)、课程表(Course)、成绩表(Score)以及教师信息表(Teacher)。四个表的结构分别如表1-1的表(一)~表(四)所示，数据如表1-2的表(一)~表(四)所示。用SQL语句创建四个表并完成相关题目。一.表1-1数据库的表结构表(一)Student (学生表)属性名数据类型可否...