- 博客(470)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 改善机器学习预测模型的技巧
概述本备忘单的目的是为你提供一些提升机器学习性能的想法。要获得突破，你所需要的可能就是其中的一个。找到你要的那个，然后回来，再找下一个再提升。我把这份清单分为4个子主题：基于数据改善性能借助算法改善性能用算法调参改善性能借助模型融合改善性能清单越往下，你获得的增益可能越小。比如，对问题场景重新设立框架或者更多的数据通常比对最好的算法进行调参得到收
2016-12-07 14:30:18
1778
转载 HBase数据模型特性及表设计思路
HBase是一个开源可伸缩的针对海量数据存储的分布式nosql数据库，它根据Google Bigtable数据模型来建模并构建在hadoop的hdfs存储系统之上。它和关系型数据库Mysql, Oracle等有明显的区别，HBase的数据模型牺牲了关系型数据库的一些特性但是却换来了极大的可伸缩性和对表结构的灵活操作。在一定程度上，Hbase又可以看成是以行键(Row Key),列标识(co
2016-12-07 14:25:01
589
翻译 Using VoltDB About This Book
This book is a complete guide to VoltDB. It describes what VoltDB is, how it works, and — more importantly — how to use it to build high performance, data intensive applications. The book is divided i
2016-12-05 10:29:53
500
原创 oracle 函数操作
创建函数：CREATE FUNCTION circle_area(p_radius IN NUMBER) RETURN NUMBER ASv_pi NUMBER := 3.1415926;v_area NUMBER;BEGINv_area := v_pi * POWER(p_radius, 2);RETURN v_area;END circle_area
2016-11-23 11:10:16
374
原创 oracle查看存储过程的内容
SELECT text FROM user_source WHERE NAME = 'procedure_name'ORDER BY line
2016-11-23 10:22:32
15748
2
原创 oracle查看创建了哪些存储过程
查看当前用户：select * from user_procedures;或者select * from user_objects where object_type='PROCEDURE';-- 一定要大写查看所有用户（注意有查询权限）select * from all_procedures;或者select * from all_objects where object_type
2016-11-22 16:15:13
10685
4
原创 oracle查看当前用户所有表
select * from user_tables;或者select * from user_objects where object_type='TABLE';
2016-11-22 16:11:47
1005
原创 mysql中类似oracle nvl()函数ifnull()
要用ifnull,而不是isnullisnull是判断是否为null,返回值是1表示null或者0表示不为空ifnull等同于oracle的nvl,用法如下mysql> select ifnull(1,10);+--------------+| ifnull(1,10) |+--------------+| 1 |+------
2016-11-22 15:16:21
3143
原创 MemSQL安装使用
参考：https://www.digitalocean.com/community/tutorials/how-to-install-memsql-on-ubuntu-14-04wget http://download.memsql.com/memsql-ops-4.0.35/memsql-ops-4.0.35.tar.gztar -xzf memsql-ops-4.0.35.tar.
2016-11-22 12:53:01
1587
转载 ORACLE外连接(+)
oracle对于外连接，可以使用“(+) ”来表示。 关于使用（+）的一些注意事项：1.（+）操作符只能出现在where子句中，并且不能与outer join语法同时使用。2. 当使用（+）操作符执行外连接时，如果在where子句中包含有多个条件，则必须在所有条件中都包含（+）操作符3.（+）操作符只适用于列，而不能用在表达式上。4.（+）操作符不能与or和in操作符一起使用。
2016-11-16 13:21:03
586
原创 hive嵌套子查询
Hive只支持在FROM子句中使用子查询，子查询必须有名字，并且列必须唯一：select * from (select id,devid,job_time from tb_in_base) a;参考文档：http://blog.csdn.net/shenxiaoming77/article/details/49490669
2016-11-15 10:31:28
18207
原创 hive中的虚拟列
Hive中有个"虚拟列"的概念，此列并未在表中真正存在，其用意是为了将Hive中的表进行分区(partition)，这对每日增长的海量数据存储而言是非常有用的。为了保证HiveQL的高效运行，强烈推荐在where语句后使用虚拟列作为限定。拿web日志举例，在Hive中为web日志创建了一个名为web_log表，它有一个虚拟列logdate，web_log表通过此列对每日的日志数据进行分区。因此，在
2016-11-11 13:23:13
1591
原创 sql中起别名与hive中的区别
SQL中对列取别名，可如下应用：SELECT user_type type FROM s_auction_auctions;但Hive解析上述语句时，会提示：FAILED: Parse Error: line 1:7 cannot recognize input 'user_type' in select expression此时，应改为：SELECT user_type AS
2016-11-11 12:37:46
12968
原创 hive查询时使用中文别名
在hive查询时发现使用英文别名是可以的，SELECT st.source_task_order A, st.creation_date B FROM tr_source_task st;但是在使用中文别名时出现如下错误解决方法：将中文别名用反单引号（ tab键上面的那个键可以敲出来）引起来即可。SELECT source_task_order as `协作任务单号
2016-11-11 12:34:48
27951
2
原创 查看集群中hive的版本
hive没有提供hive --version这种方式查看版本号，所以要找到hive的jar包所在目录，然后查看jar包的版本号，来确认hive的版本，或者在进入hive时通过查看加载的hive-common*.jar的版本来确认hive的版本：或者：
2016-11-10 14:04:06
5092
原创 Sqoop - Import All Tables
sqoop import-all-tables --connect jdbc:oracle:thin:@10.10.0.155:1521:mes --username mes --password meshadoop -m 1 --hive-import在进行数据库全表导入时，则必须强制所有数据库中的每个表都必须有一个主键字段
2016-11-09 14:08:17
2923
原创 Sqoop数据导入大数据平台实例
1.从关系数据库导入文件到hdfs中mysql为例，将所有表全部导入：sqoop import-all-tables --connect jdbc:mysql://mysql-server/test --username root --password mysql-password --target-dir test/2.将hdfs文件导入的数据库中（表已经存在，而且表定义
2016-11-09 14:04:38
784
转载 利用sqoop将oracle 11g中的表迁移至hive表
转载：http://blog.csdn.net/mozart_cai/article/details/8596535[Prerequisite]hadoop, hive, sqoop installedojdbc6.jar was in directory /usr/lib/sqoop/lib (ojdbc6.jar is for JDK 1.6) [Steps]1
2016-11-09 13:59:34
732
原创 启动多个Oracle实例
手工启动两个实例su - oraclelsnrctl start－－假设一个实例是itsm、另外一个是testexport ORACLE_SID=itsmsqlplus / as sysdbastartupquitexport ORACLE_SID=testsqlplus / as sysdbastartupquit自动启动，可以在/et
2016-11-09 13:57:36
546
转载 Oracle使用数据泵导出导入表
转载：http://m.blog.itpub.net/29485627/viewspace-1256910/Oracle使用数据泵导出导入表需求：同一机器上有两个库，默认的库为orcl，后来新建了库haishu。库haishu的用户scott下有个表test_table，要求将此表导入到库orcl的scott用户下。导出步骤：先在终端创建dmp文件存放路径，当前
2016-11-09 13:49:19
1133
原创 oracle数据泵导入错误：ORA-39082：Object type ALTER_PACKAGE_SPEC:""create with compilation warnings
在Oracle中使用数据泵导入数据时出现如下错误：ORA-39082：Object type ALTER_PACKAGE_SPEC:""create with compilation warnings原因：因为存储过程TEST里面有中文，编译时出错解决方法：export LANG="en_US.UTF-8"export NLS_LANG="SIM
2016-11-09 13:47:10
31901
4
原创 oracle ORA-00119和ORA-00132的解决方案
在启动服务器上的ORACLE时遇到如下错误：SQL> startup;ORA-00119: invalid specification for system parameter LOCAL_LISTENERORA-00132: syntax error or unresolved network name 'LISTENER_ORCL'首先查看oracle用
2016-11-09 13:43:20
444
原创 CDH SQOP使用参考文档
Viewing the Sqoop 1 Documentation：http://www.cloudera.com/documentation/enterprise/5-4-x/topics/cdh_ig_sqoop_doc.htmlInstalling the JDBC Drivers for Sqoop 1：http://www.cloudera.com/documenta
2016-11-09 13:36:25
572
原创 CDH安装SQOOP错误：Caused by: java.sql.SQLException: No suitable driver found for jdbc:derby:/var/lib/sqoo
在使用ClouderaManager安装sqoop时出现：org.apache.sqoop.common.SqoopException: JDBCREPO_0007:Unable to lease link at org.apache.sqoop.repository.JdbcRepositoryTransaction.begin(JdbcRepositoryTransaction.ja
2016-11-07 22:32:33
2330
原创 Linux根据端口号杀进程
1. 查看端口号占用情况：netstat -apn|grep 80 tcp 0 0 10.65.42.27:80 172.22.142.20:62771 ESTABLISHED6426/lighttpd2. 确定进程号为上面标红显示找到进程号以后，再使用以下命令查看详细信息：e
2016-11-04 15:17:21
1299
原创 ORA-12541:TNS:no listener
ORA-12541: TNS无监听程序错误一般这种问题大多数是由于修改了数据库所在服务器名称所导致的，解决办法是：1、在oracle安装目录下查找listener.ora和tnsnames.ora文件，然后打开2、将host改为机器名，注意如果有标题所示的问题，经常改为127.0.0.1也不能解决问题，必须要改为机器名3、执行命令：lsnrctl stop，再执行lsnrctl s
2016-11-04 15:14:29
1363
转载 Java 之注册表操作
Windows Registry API Native Interface下载地址 http://www.trustice.com/java/jnireg/index.shtml 下 registry-3.1.3.zip(包含源代码)。解开 registry-3.1.3.zip，在 bin 目录中可以看到两个文件 ICE_JNIRegistry.dll 和registry.jar，动态库就是本地代
2016-10-13 15:25:32
1775
原创 使用exe4j将jar包生可执行的.exe文件（加入jre依赖环境），可在其他机器上运行
首先，在任意目录创建一个文件夹，最好命名和项目名相同，我在E盘创建了一个“DataStructure”文件夹，之后将所有的资源文件以及我们生成的可执行jar文件(我的DataStructure.jar)都拷贝到这个文件夹里， lib目录，如果你要使对方计算机在没有安装JDK的情况下也能使用该程序，就需要将自己机器上的jre目录也拷贝进来，我安装的jre6，最后的目录结构如下：
2016-10-12 13:51:49
16969
4
原创 IDEA中对maven项目打jar包
首先需要在maven项目的pom.xml文件中添加如下内容，否则运行jar包时会出现“没有主清单属性”的提示： org.apache.maven.plugins maven-shade-plugin 1.2.1 package
2016-10-12 12:50:33
10002
转载 java中File.separator分隔同一个路径字符串中的目录的，以实现跨平台
参考：http://blog.csdn.net/chindroid/article/details/7735832File.separator是用来分隔同一个路径字符串中的目录的，以实现跨平台比如说要在temp目录下建立一个test.txt文件，在Windows下应该这么写：File file1 = new File ("C:\tmp\test.txt");在Linux下则是这
2016-10-06 13:14:11
792
转载 java中trim()方法
trim()方法返回调用字符串对象的一个副本，但是所有起始和结尾的空格都被删除了，例子如下：String s=" Hello World ".trim();就是把"Hello World"放入s中。
2016-10-06 12:59:22
2176
1
转载 Java获取操作系统信息方法
参考：http://www.android100.org/html/201407/23/44678.htmlimport java.util.Properties;Properties props=System.getProperties(); //获得系统属性集String osName = props.getProperty(“os.name”); //操作系统名称St
2016-10-03 18:32:47
2111
原创 Java中com.jcraft.jsch.ChannelSftp讲解
参考：http://blog.csdn.net/allen_zhao_2012/article/details/7941631http://www.cnblogs.com/longyg/archive/2012/06/25/2556576.htmlhttp://xpenxpen.iteye.com/blog/2061869http://blog.csdn.net/fyqcdbd
2016-10-02 22:22:35
22912
2
原创 Java中com.jcraft.jsch.JSch讲解
JSch是Java Secure Channel的缩写。JSch是一个SSH2的纯Java实现。它允许你连接到一个SSH服务器，并且可以使用端口转发，X11转发，文件传输等，当然你也可以集成它的功能到你自己的应用程序。要使用JSch，需要下载它的jar包，请从官网下载它：http://www.jcraft.com/jsch/一个简单的jsch链接Linux并执行命令的utils。imp
2016-10-02 20:56:08
35069
1
原创 Java中Properties类的操作
Java中有个比较重要的类Properties（Java.util.Properties），主要用于读取Java的配置文件。像Python支持的配置文件是.ini文件，同样，它也有自己读取配置文件的类ConfigParse，方便程序员或用户通过该类的方法来修改.ini配置文件。在Java中，其配置文件常为.properties文件，格式为文本文件，文件的内容的格式是“键=值”的格式，文本注释信息可
2016-10-02 18:37:57
382
转载 SecureCRT 7.3.4 安装图解
安装软件以及破解软件我已经上传至某云，下载链接：网盘分享，没有密码，如果链接丢了，可以发私信我，我会及时回复你新的下载地址，下面介绍安装及破解过程。1、首先下载这两个文件；2、安装scrt7.3.4，我这里提供的是一个32位的版本，64位的机器安装之后也没问题，在安装过程中，程序会提示你是否将32位的软件安装至64的操作系统，直接点击 Continue；3、
2016-09-29 12:02:05
2135
1
原创 HttpClient POST的中文编码问题
在用到HttpClient的基本请求和响应时候，发现默认的编码是“ISO-8859-1”，这样就存在中文乱码问题了，解决办法如下，postMethod.getParams().setParameter(HttpMethodParams.HTTP_CONTENT_CHARSET, "UTF-8");postMethod.addRequestHeader("Content-Type",
2016-09-27 09:42:19
777
原创 Java HttpClient使用总结
参考：http://www.cnblogs.com/ITtangtang/p/3968093.html参考：http://blog.csdn.net/heyutao007/article/details/49275253使用HttpClient发送请求、接收响应很简单，一般需要如下几步即可。1. 创建HttpClient对象。2. 创建请求方法的实例，并指定请求URL。如果需要发送
2016-09-26 19:03:51
873
数据治理知识体系.xmind
2021-01-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人