starshine-CSDN博客

原创利用JAVA程序批量导入csv数据到MySQL数据库

本文概要说明了如何通过Java程序实现对CSV文件向MySQL的批量导入方法，最后有简单介绍了如何利用MySQL提供的语句或函数实现数据的行列转换。

2022-07-25 17:17:36 2918 1

原创 MySQL 找不到binlog文件启动失败的解决办法

本文主要说明了由于二进制日志文件问题造成的MySQL启动不了的解决办法

2022-07-19 09:56:50 5572 1

原创 Excel Lookup 函数查找不准问题原因

在用Excel作数据分析时，为了不比较Low地采用复制数据，利用了一下Excel的Lookup函数，可是发现其存在有些能够准确找到，有些找错甚至找不到的问题，问题排查过程及解决方法如下：1. 希望效果希望将下表左侧(蓝色区域)北京各区人口比例，按照右侧(绿色区域)的区县顺序进行组织。 2. 存在问题在D2中输入公式: 通过拖拉方式复制到其他单元格后，发现并没有完全匹配，如

2018-01-14 19:18:56 25773

原创 Mac 下使用Spark不能加载本地Hadoop库问题解决

在Mac上安装测试Spark时，在执行一个Job（用Python调用）时出现以下错误：Setting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).17/11/22 11:01:22 WARN util.

2017-11-22 11:17:41 1028

原创 IPython 中显示目录内容文件名尾出现@等符号的意思

正在练习使用IPython 进行简单数据分析，在使用IPython 的Magic命令时发现一个有趣的现象，就是在用ls 列出目录下文件时，在文件尾部出现了*、@等符号，具体如下。使用 ls 显示目录下的文件觉得很奇怪，这啥意思，强迫症犯了，研究一下。使用 ls -l 看下原来链接文件后面加@符号，具有执行权限的文件(即文件属性中有x权限)后面加*号，那么如果是常规文件呢？用t

2017-09-30 16:31:54 569

原创 MAC OS 运行hadoop提示util.NativeCodeLoader: Unable to load native-hadoop library for your platform的解决

在Mac OS 测试Hadoop时，无论是启动Hadoop服务，还是运行Hadoop命令，均会提示以下警告信息：./start-dfs.sh 17/04/23 18:20:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java

2017-04-23 19:10:29 2472

原创解决Mac OS 下编译Hadoop Annotations 程序包com.sun.javadoc找不到问题

在Mac上演练Hadoop，但是在启动或执行命令时总显示一个提示，看了很不爽，显示内容如下： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 意思是不能加载当前平台的本地化hadoop库，类

2017-04-18 16:22:03 5937

原创使用make编译源码，使用-j 参数的作用

make是进行编译的常用工具，原来只是简单使用，对其参数不甚了解，但是看到一些源码编译指南，在make 命令中加入-jn(n指2、4、8等数字)，啥意思，查了一下make 的 man页，对其解释如下： -j [jobs], --jobs[=jobs]Specifies the number of jobs (commands) to run simultaneously. If t

2017-04-07 12:38:16 15610

原创 Mac OS DYLD_LIBRARY_PATH 环境变量说明

今天在MacBook上编译Hadoop，看到文章说要先安装protobuff，不知道安装这东东作什么（难道用来这个数据交换格式？待研究），在编译安装protobuff后，要配置DYLD_LIBRARY_PATH环境变量，这是个啥，与Linux下的LD_LIBRARY_PATH相同吗，对Mac OS还是了解太少啊，查了一些Apple的开发网站，对这个变量定义如下，在此记之，以待后查。DYLD_L

2017-04-07 12:16:58 15411 2

转载基于记忆(Memory-Based)与基于模型(Model-Based)的辨析

转载自：https://yasserebrahim.wordpress.com/2012/10/13/memory-based-vs-model-based-recommendation-systems/对这两个定义有一个比较客观的分析。Memory-Based vs. Model-Based Recommendation SystemsAnywhere

2017-03-01 10:34:00 5306

原创 CentOS or Redhat 非root用户利用sudo执行root相关命令的解决方法

在CentOS 或者 Redhat Linux 下如何使非root用户能够执行root相关命令是我们经常遇到的一个问题，例如一个用于安装数据库的账号，想在root拥有的目录下建立一个临时目录，当直接执行mkdir时，提示说明没有权限，这时我们想到了sudo命令，是否可以直接使用呢，很不幸，会有以下提示说明，此用户没有sudo的权限，看来需要配置sudoers这个文件，把当前用户

2016-07-20 18:26:25 3662

原创 redis研究与探索（一）-安装部署

redis的官网对其定位如下：redis是一个开源（BSD许可）内存数据存储，可用作数据库、高速缓存和消息队列代理。其支持字符串、哈希、列表、集合、分类查询有序集合、位图、hyperloglogs等数据类型，内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能，同时通过Redis Sentinel提供高可用，通过Redis Cluster提供自动分区。为了了解其如何使用

2015-12-20 18:06:46 934

转载 RPM-GPG-KEY详解

今天用yum安装软件，遇到了Could not open/readfile:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL问题，为了加深印象，特别搜索了RPM-GPG-KEY到底是作什么的，发现了这篇文章，放在这里，方便以后想不起来时查看。原文地址：http://linux.chinaunix.net/techdoc/system/2007/09/26/968723

2015-12-17 13:40:09 36251

转载 Spark：一个高效的分布式计算系统

原文地址：http://tech.uc.cn/?p=2116使用的Spark版本较老，但是对理解基本概念非常有帮助。概述什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduc

2015-10-05 20:59:33 4493

转载监察、稽查、稽核与审计的关系

引文地址：http://blog.sina.com.cn/s/blog_571b25070100gund.html 最近在研究一些业务，发现稽查、稽核、审计等词用的比较频繁，在网上找到了一篇文章，分析的不错。汉语和其他比较发达的语言一样，有许多同义词。但同义词之间也是有区别的，否则就不会有同义词了。有时候两个词意思比较接近，但用法却不同。比如死亡，在皇帝那里叫驾崩。了解同义词之间

2015-05-25 09:20:43 11556 1

最近在研究文本挖掘相关工具和知识，在对文档（文本文件、Word文件、网页等）能够进行全文检索或数据挖掘前，需要首先进行预处理，使之能够成为相对标准的基础数据，“分词”（Word Segmentation）是进行文档预处理过程中的一项重要工作，特别是对中文，由于中文与英文不同，中文只是字、句和段能通过明显的分界符来简单划界，但是词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不过在词这一

2015-02-22 22:15:50 1040

转载全文检索的基本原理

这篇文章写的非常棒，作为一个技术背景的人员，文字功底深厚，逻辑表达清晰，佩服。原文地址：http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623594.html------------------------------------------------------------------------------------

2015-02-12 09:36:09 2303 1

原创什么是多租户（Multi-tenant）

在这个“云”山雾罩的时代，“多租户”是一个重要的概念，无论是公有云还是私有云，多租户的支持是必须的

2014-05-04 18:27:23 29144 7

原创处理CLOSE_WAIT过多，导致oracle服务无法访问的问题

某天公司网站突然不能访问了，无论是页面加载还是登录均无法进行，查看应用服务器状态没有问题，从应用服务用SQLPlus访问Oracle数据，提升无法连接，看来问题在数据库了。登录数据库服务器，查看服务器进程没有问题，但是用TNSping工具检测Oracle Listener，显示无法连通，用lsnrctl status查看Listener状态显示不正常，但是又无法重新启动。什么原因呢？

2013-11-22 14:49:01 4892

原创模拟压力表盘的ActiveX控件

几年前业余时间给一家公司开发了一个自动压力表检定软件，为了方便在计算机上查看输入的压力值，作了一个模拟压力表的控件，检定软件是用C#作的，控件用的是VC，开发环境是Visual Studio 2005，下面是效果图：

2013-07-27 18:14:22 1580

原创 Project : error PRJ0019问题解决方法

在windows 7 安装了Visual Studio 2008，作了一个ActiveX控件，但是在Build的时候，系统报如下错误：“Project : error PRJ0019: 某个工具从以下位置返回了错误代码: "执行注册" 但是这个问题在XP下的Visual Stdio 2005中没有出现，是IDE的问题还是环境的问题，研究了Build日志，找到了问题所在，日志文件如下

2013-07-21 20:37:10 14438 1

转载 How to Run a Program as an Administrator in Windows 7

在Windows 7下使用Visual Studio的时候，经常会出一些莫名的错误，如使用Regsvr32注册ActiveX控件失败，主要的原因是没有用管理员权限，如何使程序运行时具有administrator 权限呢，具体如下：下面的英文比较简单，就不翻译了。 InformationThis will show you how to have a program

2013-07-21 20:19:30 9971

转载 NAT 四种类型

最近在研究网络相关技术，被一堆IPv6过渡技术搞得云里雾里，如6to4、Teredo、ISATAP等，在测试Teredo时，查看相关文章提到了不同的网络地址转换（NAT）分类，才知道NAT有这么多啊，原来配个iptables没想到NAT还有如此之多的机制，惭愧。这里转发一位哥们写的NAT类型介绍，描述的不错，以供学习：------------------------------

2012-12-04 15:55:01 1782

原创 KiB、MiB与KB、MB的区别

原来没太注意MB与MiB的区别，甚至没太关注还有MiB这等单位，今天认真了一下，发现两者还是有区别的，具体的差别是MB等单位以10为底数的指数，MiB是以2为底数的指数，如：1KB=10^3=1000, 1MB=10^6=1000000=1000KB,1GB=10^9=1000000000=1000MB,而 1KiB=2^10=1024,1MiB=2^20=1048576=1024KiB。与我

2012-11-26 16:16:42 146587 16

转载 qcow2、raw、vmdk等镜像格式

转自 http://www.prajnagarden.com/?p=248转者言：对prajna 的文字风格比较喜欢，同志们要在写技术文章时充分发扬喜笑怒骂皆文字的风格！------------------------------------------------------------------云计算用一个朋友的话来说:”做云计算最苦逼的就是得时时刻刻为一些可能一辈子都碰

2012-11-13 17:22:26 6459

原创 Powerbuilder 出现“DBMS ODBC is not support in your current installation”错误的原因

在用户现场做KVM虚拟机与VMware的对比测试中，用一个客户端程序查询大批量的数据，VMware虚拟机可以在等待一段时间后返回并现场结果，KVM的虚拟机则好像挂了，处于“未响应”状态，也可能是需要等待更长的时间，当然用户的这个程序里面的SQL写的估计也比较初级，但是对于测试不同架构虚拟机的性能还是很有帮助，这可能是写这个程序那个哥们没有想到的吧。打算综合测试一下查询大

2012-11-13 14:21:21 17211

原创 Windows 7 SP1 与 Windows Server 2008 R2 SP1 升级到RDP 8.0总结

随着Windows 8 的发布，远程桌面连接协议（RDP）也已经升级为8.0，相对与RDP7.1（Windows 7 SP1、Windows Server 2008 R2 SP1支持），在增强用户体验方面进行了很大的改进，例如Adaptive Graphic、Intelligent Transport、Adaptive Network Auto Detect、DirectX 11 Supp

2012-10-31 11:44:11 21611 5

原创基于虚拟桌面实现移动办公的优势

移动办公是利用通信技术和信息技术，支持组织各级员工在任何时间、任何地点，使用任何设备即时进行提交申请、业务审批，邮件收发、文档共享等业务处理，从而有效提高工作效率和降低管理成本。传统的移动办公模式是针对不同企业应用（的移办公模式是针对不同企业应用（式是针不同企业应用（c OA、ERP、CRM、SCM等），开发相应的终端程序或Web页面，管理人员或业务人员通过这些入口直接访问内部系统，对

2012-09-05 14:52:18 3455 1

原创什么是Windows 安全主体SID

前几天利用虚拟机测试Windows Server 2008 R2的 RemoteApp 功能，在测试负载均衡时，需要多台安装了Windows 2008 R2的虚拟机，测试中采用克隆方法创建了所需虚机，但是这些虚机启动没有问题，但是不能加入活动目录域中进行管理，通过Google，获知是由于SID的问题，由于克隆的虚机与模板虚机重复，活动目录的管理机制无法识别，所以不能加入域中。什么是SI

2012-08-28 15:31:42 2072

原创某些CHM文件不能查看内容的解决方法

今天下载了一个微软语音SDK sapi，想打开里面带的帮助文件sapi.chm，发现文件打开后不能看到内容，如下图：什么原因呢，从文件夹中选择此文件，通过右键菜单打开文件属性对话框，如下图：通过解除锁定按钮，解除文件锁定。再打开文件，则可以看到内容了。其实还有一种情况影响CHM文件的打开，即文件放在有中文目录名称的路径下，但是有时候此种情况下也能

2012-08-24 16:40:18 1498

原创 ESXi 5.0 主机网络不通的解决办法

今天在vCenter上面新建了一个分布式网络交换机，命名为dvSwitch3，并且把ESXi主机的物理网卡与新建dvSwitch3的默认上行链路端口组进行了关联，如下图所示：图1 dvSwitch3分布式交换机配置同时将此主机加入到dvSwitch3中，利用此交换机实现对共享存储和物理网络的连接和访问。但是在把此新建

2012-06-26 18:30:40 23787

原创在Windows 7中，十步实现单个用户组策略配置

在Windows XP 或Windows 2003中，组策略都是针对本机的，即配置了组策略后，所有登录本机的用户被赋予相同的策略，但是在远程桌面控制中，存在为不同的人分配不同策略的需求，如何实现呢？在Windows 7 和Windows 2008 32位版中，微软非常贴心的提供了此项功能，下面简要介绍一下，以供参考。1、打开一个命令行窗口或者直接在开始菜单运行框中输入MMC

2012-06-21 18:45:23 9387

原创 Linux cciss磁盘设备文件的说明

在某些机器上安装Linux后,发现在/dev目录下找不到hda、hdb、sda等磁盘设备文件，那么挂接的磁盘在哪里呢？使用mount命令查看挂接设备情况，发现磁盘文件在、dev\cciss目录下，并以c0d0p1的名字表示。 cciss何方神圣？ -原来是 HP Smart Array block driver，是一个比较旧的HP RAID控制器块驱动，在Linux中以modul

2012-06-15 15:23:20 13165

原创如何重新找到在Windows Live Mail 中直接打开修改保存并且不小心关闭的文件

今天同事发来一个方案让给改一下，我直接在Windows Live Mail把文件打开了，然后满腔热情的进行完善工作，花了宝贵的一个半小时，大功告成直接保存关闭！悲剧了，没有保存在工作目录中，应该是保存在Live Mail的缓存中了，把整个硬盘搜索一遍，不见踪迹，难道俺的工作成果就这样没了？这也太悲催了吧，难道还要高唱重新再来！心有不甘，好在没有在硬盘上保存其他文件，也没有打开新的邮件附

2012-05-25 17:05:29 19513

原创 Windows Server下查看当前登录用户命令

对于开通了远程桌面和终端服务的Windows服务器来说，特别是在通过域管理的情况下，如何确定目前登录用户的情况呢？有没有类似Linux下的whoami、w、who等命令呢？今天在配置某些目录的共享时，正好遇到这个问题，就研究了一下，别说，Window还是挺贴心的，也提供了相关命令，具体如下： 1、whoami命令在命令行下执行此命令，则返回目前查询会话中

2012-04-09 16:14:07 67419 6

原创 Linux 内存高速缓存（cache）类型分析

在Liunx内存管理机制中，除了对目录项（dentry，Linux文件系统中某个inode的链接）进行缓存外,还采取了两种高速缓存，即Buffer Cache和Page Cache，前者针对磁盘块的读写，后者针对文件inode的读写。通过增加这些Cache，有效缩短 I/O时间。先通过free命令查看内存使用情况： free -m

2012-04-08 13:27:20 4789

转载带内管理和带外管理

带外管理是新一代网络管理技术的简称。网络管理又分为带内管理（In-Band）和带外管理(Out-Of-\nBand)。目前使用的网络管理手段基本上都是带内管理，即管理控制信息与数据信息使用统一物理通道进行传送。例如：我们常用的HP Openview网络管理软件就是典型的带内管理系统，数据信息和管理信息都是通过网络设备以太网端口进行传送。带内管理的最大缺陷在于：当网络出现故障中断

2012-02-21 17:08:39 5867

原创应对linux中磁盘设备名称变化造成的不能自动mount问题

Linux服务器使用存储网络（SAN）提供的LUN时，可能存在每次挂载上设备名称发生变化的情况，如果在/etc/fstab中配置相关磁盘设备自动mount，由于名称变化，系统找不到对应的设备，可能造成启动过程挂起问题或者不能正确挂载，本文主要说明如何使用设备文件的UUI挂载可以解决上述问题。 linux系统中文件是一个重要的概念，所有的硬件设备、通信端口、管道等都被认为是

2012-02-21 17:03:57 5782

原创 iSCSI相关术语

1、iSNS （Internet 存储名称服务协议）通过提供的一组类似于光纤信道网络上可使用的服务，推动了 IP 网络中 iSCSI 和光纤信道存储设备可扩展配置和管理。这样 iSNS 就允许 IP 网络像光纤信道网络一样操作。管理员不再需要 device-by-device 的管理模式，该模式中每个存储设备都需要手动配置各自的启动器和目标器列表。iSNS 中，每台存储设备都将发现

2012-02-21 16:24:00 1715

原创 iSCSI 在Linux下的模拟实验（三）

续iSCSI 在Linux下的模拟实验（二）5、iSCSI客户端（Initiator）配置在Linux 2.6内核中提供了iscsi驱动，iSCSI 驱动（driver）使主机拥有了通过IP网络访问存储的能力，驱动在主机（Initiator）和服务端（Target）间使用iSCSI协议在TCP/IP网上传输SCSI 请求和响应，在构建上，iSCS

2012-02-21 15:51:52 17521 1