- 博客(45)
- 收藏
- 关注
RSS订阅原创 spark2.4+hadoop-2.6.5+hbase+zookeeper 环境搭建
想学习spark，因为之前已经用3台虚拟机搭建了hadoop-2.6.5，因此找了编类似的博客进行搭建，参考博客为：Spark2.4+Hadoop2.7+Zookeeper3.4+HBase2.1集群部署基本照着上面的博客进行搭建环境，现将中途一些具有个人特色的问题及解决方法记录下来。1、虚拟机连网之前用的NAT模式设置虚拟机网络，但是不知怎么的不能用了。这次改为使用桥接模式。具体设置参...
2019-04-07 16:30:17
239
转载 CSDN-markdown语法
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...
2018-08-13 09:19:57
180
原创 nginx+uwsgi+flask 配置
1.为什么要Nginx ？Nginx是一个Http和反向代理服务器 什么是反向代理服务器呢？正向的就是由浏览器主动的想代理服务器发出请求，经代理服务器做出处理后再转给目标服务器 反向的就是不管浏览器同不同意，请求都会经过代理服务器处理再发给目标服务器 这其中的区别就是必须经过Nginx反向代理服务器，这就有了使用Nginx的几个好处：安全：不管什么请求都要经过代理服务器，这样就...
2018-03-08 15:07:22
398
原创 使用Navicat实现将Sql Server中的表导入到MySQL中对应的表中
需求将Sql Server数据库中的表jianqiu_temp_repayment_plan导入到云服务器的Mysql数据库中的表名为scenario的表中。步骤1、先打开Navicat for MySQL 软件，连接好线上的数据库，然后选择对应的表（scenario），右键该表选择导入向导 2、选择ODBC，下一步 3、点击红色区域，弹出下图所示 4、选择红色区域 ...
2018-02-27 10:46:13
1140
1
翻译 mysql.sock 找不到了，用find / -name mysql.sock 也找不到
当执行一个大任务后，导致mysql启动不了。 在使用Storm UI查看日志处理情况的时候，发现storm集群中一台从机挂了，于是我登陆了部署那台从机的linux查看，运行jps -m 查看进程运行情况，发现报了一个warning：Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memo
2018-01-04 20:36:33
559
翻译 Hive_hdfs csv导入hive demo
Hive_hdfs csv导入hive demo 1 create csv file. student.csv4,Rose,M,78,77,765,Mike,F,99,98,982 put it to hdfs.# hdfs dfs -put student.csv /input3 create table in hive.create table student_csv(sid int,
2018-01-02 17:23:47
595
翻译 如何在Jupyter Notebook中使用Tensorflow
Using a virtualenv in an IPython notebookYou can use a virtualenv for your IPython notebook. Follow the following steps:Install the ipython kernel module into your virtualenv 也可使用conda envworkon my-vi
2017-12-06 15:42:07
1881
翻译 Sql server 权限管理
1、设置某一登录账户只能看到部分数据库参考 TN VIEW ANY DATABASE权限 通过sp_addlogin创建登录名 –basic:用户登陆账号 –basic123456:用户登陆密码USE masterGOexecute sp_addlogin 'basic','basic123456'–VIEW ANY DATABASE 权限控制是否显示 sys.databases 和 sy
2017-10-31 17:57:25
640
转载 Sql server 2014 安装教程
https://jingyan.baidu.com/article/3a2f7c2e653d5926afd61197.html
2017-10-23 17:45:01
2428
转载 Python 高效使用字典
声明一下 此文是copy过来了，觉得写得很好，就记录一下，方便以后查阅，希望作者莫怪。原创 2017-08-22 刘志军 Python之禅字典（dict）对象是 Python 最常用的数据结构，社区曾有人开玩笑地说：”Python 企图用字典装载整个世界”，字典在 Python 中的重要性不言而喻，这里整理了几个关于高效使用字典的清单，助你代码更加 Pythonic。1、用 in 关键字检查 ke
2017-09-14 11:09:01
269
原创 Hive2.1.1 + mariadb-10.1.14-linux-x86_64 安装
一、安装包/usr/local/apache-hive-2.1.1-bin.tar.gz/usr/local/mariadb-10.1.14-linux-x86_64.tar.gz[/usr/local/mysql-connector-java-5.1.44.tar.gz](https://dev.mysql.com/downloads/connector/j/)二、安装maria
2017-09-07 18:00:42
289
转载 SQL Server高级应用
http://www.cnblogs.com/sun-sjmeng/archive/2012/09/15/2686080.html
2017-08-30 15:45:20
469
原创 Python 装饰器捕捉异常
背景需要频繁使用python 对mssql 进程insert into 语句，在此过程中有很多的错误产生（如字段长度不够，一些奇怪字符等），调试起来很不方便，因此写了个装饰器，进行异常捕捉，并将产生错误的插入信息打印出来，这样就能够很直观地发现错在什么地方。 装饰器代码：def sql_capture(fun): def add_cap(*args, **kwargs):
2017-08-25 17:45:50
3289
原创 正则去除 除了中文、数字、字母之外的字符
name = re.sub('[^A-Za-z0-9\u4e00-\u9fa5]', '', name)如下图所示：
2017-08-25 17:16:40
7560
原创 Pycharm误删代码找回方法
在开发过程中，误删了一个文件，或者误删了一段代码，那如何再找回来呢？ 找回办法：1、找回一个文件中的代码右键单击这个文件名，选择Local History->Show History，然后找到之前的版本，选出要恢复的代码，右键选择Accept即可（其他几个按键没试过）。 2、找回一个文件右键点击你的project(worker)->Local History->Show History，操作类似
2017-08-23 15:09:04
5760
1
转载 sql server 存储过程
http://www.cnblogs.com/hoojo/archive/2011/07/19/2110862.html
2017-08-21 16:15:44
260
原创 hadoop 完全分布式环境搭建
环境Ubuntu 16.04 64位 hadoop 2.6.51、搭建虚拟机首先安装 VMware Workstation 接着安装Ubuntu 16.04 (百度上很多教程，此处略过)。2、安装JDK在oracle 官网下载最新版的安装包 （jdk-8u144-linux-x64.tar.gz）； 解压到 /usr/local/ 目录下； 在 ~/.bashrc 文件后面加上以下配置
2017-08-13 19:57:18
277
翻译 windows 共享文件夹（不需要输账户密码）
背景：在工作中有时候需要将文件夹共享给其他同事，可是有时就会出现当其他人访问共享文件夹时，必须得输入用户名和密码方可进入。这可真是让人头疼的问题。那么有什么办法解决呢？下面小编将与大家分享一个解决办法，希望能够帮助到大家。 第一步：打开guest账号。单击桌面“开始”按钮，找到“控制面板”并打开，选择“用户帐户”并单击就会弹出一个窗口，继续单击下方的“管理其他帐户”，然后选择“Guest”,点击“
2017-08-10 10:33:13
7814
原创 DataFrame 操作笔记
1、map()函数与applymap()函数map函数：对df的某一列的所有数据进行处理； 例： 如下图所示，将dat列的时间（datetime）转成时间戳格式，就可以这样操作（请忽略警告消息） 。 另外注意，由于可能后期会修改类定义，类的序列
2017-08-06 12:15:22
160
原创 ER Studio 使用笔记
背景公司需要新建数据仓库，于是使用了ER Studio。由于之前没用过这个工具，所以用的时候爬过一些坑，记下来以供参考。1、新建项目如下图所示，点OK即可。 2、建立实体（entity）如下图左键单机红色方框的实体按钮，然后再空白区域单击左键即可，建完之后可单击右键释放。 3、建立关系（Relationship）如下图所示红色框所示： 我们通常选择第二种（Non-Identifying,Man
2017-08-04 17:22:57
2473
1
原创 集合类
集合框架的构成及分类：1、Collection List： 元素是有序的，元素可以重复，因为集合体系有索引。 ArrayList: 底层的数据结构使用的是数组结构，特点：查询速度快，但是增删稍慢，线程不同步。 LinkedList: 底层使用的是链表数据结构， 特点：增删速度快，查询稍慢，线程不同步。 Vector: 底层的数据结构使用的是数组结
2017-07-31 23:11:47
158
原创 java多线程
方法一： synchronized 必须保证同步中只能有一个线程在执行。好处： 解决了多线程的安全问题。弊端： 多个线程需要判断锁，较为消耗资源。1、同步代码块synchronized（对象） { //需要被同步的代码 }对象如同锁，持有锁的线程可以在同步中执行。 没有持有锁的线程即使获取了CPU的执行权，也进不去，因为没有获取锁。同步的前提：
2017-07-30 22:36:34
143
原创 线程（从创建到消亡的过程）
1、线程从创建到消亡的几个状态，以及转换过程： 2、线程有两种方式可以实现：继承Thread类和实现Runnable接口。两种方式有以下区别：继承Thread: 线程代码存放Thread子类的run方法中；实现Runable: 线程代码存在接口的子类的run方法中。 避免了单继承的局限性，建议使用这个方式。
2017-07-30 22:06:55
1989
1
原创 关于Python迭代器的问题
**问题** 删除一个列表中所有的None，如a=[5, 'jh', None, None, None]方法：for循环，如图所示 可以发现始终有个None删不掉。原因分析：迭代器的问题，即当删除`a[2]`时，后面的元素会往前靠`a[2]=None(之前的a[3])`，而迭代器已经开始访问`a[3]`了，因此会就漏掉了。解决方法：a = [x for x in a if
2017-07-28 11:54:02
250
翻译 CentOS 默认防火墙设置
声明：本文来自其他网页，本人只是修改了一下格式，以方便自己查看。CentOS 7.0默认使用的是firewall作为防火墙，这里改为iptables防火墙步骤。1、关闭firewall：systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动firewall-cm
2017-07-20 17:41:36
1147
原创 MySQL 设置远程登录
开放远程连接你想myuser使用mypassword从任何主机连接到mysql服务器的话: GRANT ALL PRIVILEGES ON *.* TO 'myuser'@'%' IDENTIFIED BY 'mypassword' WITH GRANT OPTION; FLUSH PRIVILEGES;
2017-07-19 16:23:47
192
原创 更改Hbase的rootdir报错
背景新加了一个硬盘用作hbase的数据存储硬盘Start添加硬盘后，挂载在/hbase目录下（此过程可参考作者其他博客），改了下面的配置的rootdir：<configuration> <property> <name>hbase.rootdir</name> <value>file:///hbase/data<
2017-07-18 12:06:02
3336
翻译 Linux添加新硬盘
背景公司需要搭建hadoop框架，于是就整了一台服务器，建了个虚拟机（Red Hat）, 但是硬盘有点小，因此买了个新硬盘添加上去。开始在服务器上把硬盘接好，启动redhat，以root登陆。如果是热插拔硬盘就不用重启机器，用root用户执行这个命令：kudzu ，就可以认到新加硬盘。1.确认认到新硬盘执行如下命令#dmesg|grep sd如果命令结果中有设备名sdb说明新硬盘已经被操作系统正确识
2017-07-18 11:18:41
449
原创 Sql server 操作笔记
Sql server 操作笔记1、修改字段长度 错误命令版本1：Sql代码 alter table Course modify column cname char(20);--'modify' 附近有语法错误。错误命令版本2：Sql代码 alter table Course modify cname char(20);--'mod
2017-07-10 14:03:50
424
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-07-10 13:57:30
292
翻译 windows 安装Twisted 和zope包
windows下，可以直接下载安装进行安装 https://pypi.python.org/packages/2.7/T/Twisted/Twisted-13.0.0.win32-py2.7.msi 到此似乎安装成功了，但在使用twisted时，即引入twisted时， 如：from twisted.internet.protocol import Protocol,ClientF
2016-12-29 09:29:08
665
翻译 UnicodeDecodeError: 'ascii' codec can't decode ...
windows下用pip install xxx.whl 安装包时出现以下错误时，UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 33: ordinal...原因与注册表有关，可能与某些国产软件对注册表的改写的gbk格式导致python无法进行第三方库的安装操作。 解决方法： 打开C:\Python27\L
2016-12-28 16:39:34
568
转载 sql中将字段转成Decimal
update CHELIANG_MINGDAN set clmd_yunxuzaizhong = cast(clmd_yunxuzaizhong/1000 as decimal(14,4)) where clmd_yunxuzaizhong is not nullupdate CHELIANG_MINGDAN set clmd_carweight = cast(clmd_carweight/1000
2016-12-28 16:28:29
11122
转载 用PyInstaller将python转成可执行文件exe笔记
转自 1、安装PyInstallerPyInstaller的作用如标题所说，首先需要下载PyInstaller和UPX，UPX是用来压缩exe的，点击超链接下载吧，目前稳定版本是1.3，注意选择你使用的操作系统。如在Windows下，将下载解压后的upx.exe放到PyInstaller解压后的文件夹内。设PyInstaller的文件夹为D:\PyInstaller，下同。命令行下进入D:\PyI
2016-12-18 10:39:37
331
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人