开发总结
Chengliangyao
欢迎大家多多指教!
展开
-
支付宝APP支付ALIN10146问题
参数没得问题,支付时返回了4000错误码,然后提示“系统繁忙,稍后重试,ALIN10146问题”,反复校对了参数,签名过程等,最后发现是沿用了之前的RSA签名方法,改为RSA2签名方法后,OK!...原创 2019-08-01 09:08:39 · 5873 阅读 · 0 评论 -
python 取多维数据的某一列
table=[[0,0,0,0],[1,1,1,1],[2,2,2,2],[3,3,3,3]]不能使用table[:,0],可将其转为array,然后取列table1 = numpy.array(table)取第一列 table1[:,0] 得到[0 1 2 3],如果需要list,可以将其转为list,list(table1(:,0))...原创 2018-06-24 11:14:41 · 16487 阅读 · 3 评论 -
spark 批量插入数据到数据库中
使用批量处理的方式提高效率connection.setAutoCommit(false) //设置手动提交val sql = "xxxx"pstmt = connection.prepareStatement(sql)for (ele <- list){ ······ pstmt.addBatch()}pstmt.executeBatch() //执行批处...原创 2018-06-08 11:23:50 · 4879 阅读 · 1 评论 -
spark DataFram.createOrReplaceGlobalTempView创建Table后在sql语句中找不到table报错
使用global_temp.table名代替 table名select id,name from global_temp.tableName原创 2018-06-08 10:51:29 · 2594 阅读 · 0 评论 -
spark 调优:分区字段数据类型调整
spark读取数据返回DataFrame时,默认开启了数据类型自动转换,比如字符串20180101会被转换成整型,官网说明如下如果需要关闭这种转换,创建spark时通过config关闭,如:val spark = SparkSession.builder().appName("xxx").master("local[2]").config("spark.sql.sources.partitionC...原创 2018-06-08 10:18:19 · 1046 阅读 · 0 评论 -
spark 调优:控制输出文件的个数
DataFrame输出结果保存为文件时,尤其是根据某个条件分区时,可以控制输出文件的个数,从而减少小文件的个数DataFrame..coalesce(1).write.format("parquet").mode(SaveMode.Overwrite).partitionBy("分区条件列名").save("路径")这里coalesce指定输出文件个数...原创 2018-06-08 10:08:14 · 7959 阅读 · 0 评论 -
使用github中的开源项目(maven)
1、下载项目git clone https://github.com/xxxx2、编译下载的项目mvn clean package -DiskipTests3、安装生成的jar包到maven本地仓库mvn install:install-file -Dfile=jar包路径 -DgroupId=xxxx -DartifactId=xxxx -Dversion=xxx -Dpackaging=jar...原创 2018-06-08 09:03:45 · 2193 阅读 · 0 评论 -
magento 获取media目录
接上一篇文章,有时候可能media目录不在当前项目的虚拟目录,因此需要获取Media目录路径,方法如下:Mage::getBaseUrl(Mage_Core_Model_Store::URL_TYPE_MEDIA);原创 2018-05-27 11:38:31 · 532 阅读 · 0 评论 -
magento 多域名问题
问题描述:两个magento项目目录,共用同一个数据库,所有产品图片都位于magento1中的media目录下,magento2中生成或者上传的图片都会在magento1中生成。配置过程如下:第一步:在magento1中配置一个新的website(magento2),设置店铺(这里标识为m2)第二步:为该website配置信息,系统-》配置-》常规-》web(我汉化了),配置范围选中magento...原创 2018-05-27 11:33:08 · 1311 阅读 · 0 评论 -
springvc发布后,访问controller时出现404
tomcat未报错,页面显示404,可能有如下错误:1,包是否扫描到了,context:component-scan必须包含足够的包2,前端html中,href中不能以“/”开头,否则会出现404...原创 2018-04-28 16:54:08 · 263 阅读 · 0 评论 -
springmvc 报错Servlet.init()
springmvc和mybtis集成,使用了注解,<context:component-scan base-package="xxxxx"></context:component-scan>然后就是如下错误经过测试,使用非注解的方式是不会报错的。原因是springmvc的版本和jdk版本不匹配,springmvc的版本是3.x,而jdk是1.8,因此要么使用4.x的spri...原创 2018-04-24 09:56:57 · 3588 阅读 · 0 评论 -
mybatis 逆向工程不生成文件也未发生错误,数据库连接成功
控制台信息未发生错误,显示已经查询到数据库中的biao等,但是没有生成对应的文件,原因可能是指定目录的问题,将配置中的targetProject=".src"改为绝对路径,如下:...原创 2018-04-17 22:30:45 · 2755 阅读 · 4 评论 -
Magento中使用require_once问题
由于在magento中的代码可能需要编译,因此require_once引用了文件,在编译后就会报错,编译后的文件在目录include/src里面,可以直接require_once这里面的php文件,但是更改了文件必须经过编译才会起作用;另外有一种方式就是把需要引用的文件放到lib(其他地方也行)里面,这样代码就不会编译,随时修改都能起到作用,使用如下方式应用requre_once(Mage::ge...原创 2018-03-29 15:25:12 · 201 阅读 · 0 评论 -
sqlserver 程序中出现08001问题
如果sqlserver客户端可以通过用户名和密码连接上,但是在程序中运行就出现08001问题,这种情况极有可能是数据库服务配置没有配置,配置下就好了:然后重启:...原创 2018-04-11 18:49:48 · 18516 阅读 · 0 评论 -
表中有索引时如何删除数据?
今天使用mysql时,创建了一个表,没有主键,对某些列建了索引,插入数据后想删除其中的数据,发现使用平常的delete * from table_name报错,后来直接使用truncate table_name直接删除了表中所有数据,但是使用truncate无法删除某一条数据。...原创 2018-03-22 11:45:24 · 3329 阅读 · 2 评论 -
Mybatis java.io.IOException: Could not find resource com/xxx/xxxMapper.xml
初级入门mybatis时,按照视频写代码,运行时出现错误,ava.io.IOException: Could not find resource com/xxx/xxxMapper.xml,定位到SqlMapConfig.xml文件中的mappers处:经过一番排查,问题如下:首先,config目录要和src平行,且都要build path其次,里面的目录应该为package,sqlmap也是创建...原创 2018-03-31 09:38:36 · 1792 阅读 · 0 评论 -
mac mamp 进入mysql命令后
首先找到mamp 中mysql的安装目录:/Applications/MAMP/Library/bin/mysql然后进入: /Applications/MAMP/Library/bin/mysql -u root -p我这里测试配置环境变量,但是由于mac默认安装了mysql或者机器单独安装了mysql,即使配置了环境变量也没起作用,只能输入路径。...原创 2018-06-26 10:11:54 · 3116 阅读 · 0 评论 -
MAC VMware Fusion Centos 虚拟机固定IP
1、命令行窗口进入:/Library/Preferences/VMware\ Fusion/vmnet8/dhcpd.conf2、增加虚拟机的IP其中note为虚拟机的文件vmwarevm,hardware为虚拟机的mac地址,可以到虚拟机的网络配置中的高级选项中查看,如下图,第二个选项为固定IP地址,主义,ip地址一定要在范围内,打开的文件中有,注意有几个虚拟机就这样增加就行编写完毕后重启一下V...原创 2018-07-09 22:01:35 · 1729 阅读 · 2 评论 -
Ionic1 编译ios 遇到** ARCHIVE FAILED ** CordovaError: Promise rejected with non-error: 'Error code 65 f
** ARCHIVE FAILED **CordovaError: Promise rejected with non-error: 'Error code 65 for command: xcodebuild with args: -xcconfig,platforms/ios/cordova/build-debug.xcconfig,-workspace,AotaoWorld.xcwork...原创 2019-03-28 16:22:08 · 2327 阅读 · 0 评论 -
Mac Mojave 跑ionic1项目
升级了mac的系统,和Xcode,新下载的ionic1项目居然跑不起来了,于是设置了半天,将主要东西记录下:配置情况:运行Android如果报错,根据网上的结论修改了gradle文件的权限,结果还是报错,然后想起以前android 添加平台时时指定了版本才跑起来的,这次一样,居然跑起来了,可能和你的sdk版本有关;运行ionic cordova run ios,报错,暂时未解决;...原创 2019-03-20 16:13:50 · 391 阅读 · 0 评论 -
matlab中对两个数据求交集,并按照某个数据集的顺序返回
matlab中使用intersect对两个数据集求交集,默认情况下交集会按照从小到大的顺序排列,可以使用‘stable’来让返回数据按照某个数据集的顺序返回,原文如下:...原创 2018-12-24 11:27:44 · 4738 阅读 · 0 评论 -
git 本地创建新项目并上传到github
之前一直是从github上面clone项目下来,这次搞懂了如何本地创建git项目并上传,记录下步骤:1、在github网站上面创建远程仓库,url2、本地目录中初始化项目(视为本地git已经配置好了):git init3、和远程仓库建立联系:git remote add origin url4、添加修改后要上传的文件:git add xxx5、提交本地:git commit -...原创 2018-11-16 22:52:27 · 873 阅读 · 1 评论 -
Magento 更改已有模块的数据库表的字段信息
比如要扩大模块对应的表的姓名一列的长度1、首先增加指定模块的sql文件,一般是模块名/sql/xxx_setup/upgrade_old_new.php old表示上一版本号,new代表本次版本号,new必须大于old,比如upgrade_1.0.0_1.1.0.php2、编辑sql.php文件<?php/**$installer = $this;$installer-...原创 2018-11-11 20:19:29 · 551 阅读 · 0 评论 -
Mac git 分支使用
github.com已经建立了一个仓库,一个分支,master。现在在本地一个文件中打算初始化一个git项目,并创建两个分支,master对应远程的master,ycl对应远程的ycl。步骤如下:1、复制远程项目:git clone master的地址,以.git结尾,(另外有种方法是本地git init一个项目,但是尝试最后push失败)然后进入项目内2、此时本地和远程的分支都是mast...原创 2018-10-16 11:13:22 · 4523 阅读 · 0 评论 -
ionic1 实现文本长按复制功能
ionic本身带有这种功能,只是屏蔽了,需要重新启用,一般有如下三个步骤:1、设置 css2、在页面文件中,<ion-content 中加入overflow-scroll="true" scroll="true",然后在需要长按复制的标签,div等,不能是ionic自带的组件加入class="selectable" data-tap-disabled="true"3、在控制器...原创 2018-10-08 15:20:30 · 983 阅读 · 0 评论 -
php input上传图片导致所有输入数据都为null问题
使用form表单来同时提交输入数据和上传文件,但是可能不成功,可能有如下两种问题:1、输入数据OK,但是后台$_FILES里面没有文件,这种原因一般是form表单里漏了一个属性,加上enctype="multipart/form-data"即可2、另一种情况是本来输入数据上传成功,但是加入上传文件,也加入了上述属性,但是提交后后台所有数据都为null了,不会报错,这种情况是上传文件过大,一...原创 2018-09-29 09:47:58 · 884 阅读 · 0 评论 -
Ionic img标签每次强制刷新图片内容
对于Ionic的img标签来说,如果src中的内容是一样的,那么再次访问时会读取本地缓存,如果服务器更新了图片并不会得到最新的,这里找到了两种方式可以暂时解决:1、在url后面加上?q=random,这样每次访问时url就会不一样,图片就会强制刷新了,就是每次访问时都会刷新,速度变慢了2、就是更换图片时就换个名称,这种情况比较适用于首页的某些图片...原创 2018-09-13 20:14:47 · 1564 阅读 · 0 评论 -
spark streaming - flume - kafka 集成启动顺序问题
在这种多个组件的组合中,常常会涉及组件的启动顺序问题,如果顺序不对会报错。一般来说顺序如下:(1)启动flume日志收集,尤其是里面的sink连接的那个组件要在这一步之后启动(2)如果要向flume中的source指定的hostname:port发送信息,该程序一定在上一步之后(3)启动kafka,获取flume发来的日志信息,因为这一步要连接flume中的sink,一定是(1)之后,...原创 2018-07-20 12:00:40 · 423 阅读 · 0 评论 -
MAVEN 项目打包成jar包,java -jar 报错 Could not find or load main Class
出现这个错误,如果不是环境的错误就是打包设置的问题,比如如下图,有main下面有两个目录,一个是java,一个是scala,打包时需要在pom.xml中设置一下才行设置方式:如果设置和想运行的类目录没有统一就回报错 另外一种方式就是直接将这个sourceDirectory和sourceTestDirectory直接注释掉,这样整个目录都能找到。...原创 2018-07-20 11:39:35 · 7509 阅读 · 0 评论 -
sparkstreaming kafka Direct Approach集成问题
环境:hadoop-2.6.0-cdh5.7.0 spark-2.2.0 kafka_2.11-0.9.0.01、StringEncoder import 报错解决方法:import _root_.kafka.serializer.StringDecoder 原因没懂2、Spark Streaming 报错:kafka.cluster.BrokerEndPoint cannot be...原创 2018-07-18 13:08:28 · 273 阅读 · 0 评论 -
Spring Boot 发布未报错,浏览器访问显示 Http Status 400 - Not Found
使用IDEA 构建的 Spring Boot 项目,运行后虽然没有报错,但是明显控制台打印的信息少于正常时的信息,成功时应该有的info如下:解决方式:删除maven库中所有相关jar包重新下载...原创 2018-07-23 17:57:35 · 2453 阅读 · 0 评论 -
spark-submit 依赖第三方包
spark-submit 提交程序时如果需要一些其他包,使用--jars xxxx.jar,xxxx.jar......,使用多个jar包时需要注意,每个jar包必须从根目录开始写即/xxx/xxx...jar,否则系统会将后面的视为一个jar包...原创 2018-07-17 17:29:28 · 3493 阅读 · 0 评论 -
flume安装与简单使用
安装很简单,去下载安装包,然后解压,在系统中配置环境变量,安装包中conf下面的flume-env.sh中export JAVA_HOME=即可,安装完成后运行 安装包下bin/flume-ng version即可看到版本信息。flume的使用基本是靠配置,只要把你所需要的框架搞懂,剩下的就很简单了。一般将配置文件保存为 xxx.conf,运行的命令如下,其中conf就是conf文件夹,conf...原创 2018-07-10 11:06:41 · 3397 阅读 · 0 评论 -
Mysql - Access denied for user 'root'@'x.x.x.x' 拒绝登录问题
如果使用这个账号和密码确定无误,在数据库工具中能够登录的话,那么一般是权限问题了,一般可以对其赋予某个数据库的操作权限:GRANT SELECT, INSERT(权限列表) ON 数据库.* TO 'root'@'10.0.0.1';...原创 2018-03-25 17:06:28 · 358 阅读 · 0 评论 -
Ionic ios支付宝插件支付后提示打开另一个APP,不返回当前APP问题
ios上使用Ionic1支付宝插件支付后,支付不返回当前APP,反而提示打开使用了同样插件的另一个APP,其主要原因是调用支付宝时指定返回APP的名称没有发生改变,最简单的方法是使用Xcode进行打包时修改如下Schemes即可:当然,在ios插件中的info-list配置文件中修改也行,但是修改了插件后必须remove平台然后在install一次,而且比较麻烦,还不能保证能修改正确。...原创 2018-03-24 11:10:17 · 1175 阅读 · 0 评论 -
spark中Accumulator累加器何时运行
对于Accumulator这种分布式累加计算的变量的使用,有一个重要说明:从Accumulator中,获取数据,然后进行操作的时候,一定要,一定要,是在有某一个action操作以后再进行。。。如果没有action的话,那么整个程序根本不会运行。。简单的,可以先做一个count(),然后再进行从Accumulator中获取数据。...原创 2018-03-20 11:51:37 · 358 阅读 · 0 评论 -
magento中产品分页处理
1、定义每页显示数量$limit=20;,查看哪一页$page=3;2、获取所有所有产品列表$collection = Mage::getModel('catalog/category')->load($id) $id是分类id ->getProductCollection();这里一般会通过条件筛选3、获取总的页数$pages = $collection->setP原创 2017-04-01 21:00:00 · 1181 阅读 · 0 评论 -
magento手机号登录
magento默认是邮件登录,但是国内常常是手机号,因此需要中间需要转换一下。首先根据手机号找到用户的邮箱,某些公司可能给用户提供了一个邮箱,开发时不能用这个默认的邮箱,因为用户可能更改成自己的邮箱,这样就无法登录了。$customer = Mage::getModel('customer/customer')->getCollection() ->addAttributeToFil原创 2017-03-28 17:35:39 · 741 阅读 · 0 评论 -
magento中产品图片问题
从magento中获取到了某一个产品后,想要获得它的图片路径,product里面有一个description,是产品的图片,但是是一段html语句,路径就在里面,无法获取。google到了一种方法:echo Mage::helper('cms')->getBlockTemplateProcessor()->filter($product->description);这句代码是将产品的图片直接输原创 2017-03-11 17:24:57 · 1581 阅读 · 0 评论 -
angularjs ng-repeat 获取当前在数组中的下标
使用angularjs的时候,ng-repeat是常用的指令,常常希望在当前item下面获得当前的数组下标,使用 $index 即可。原创 2017-03-20 10:05:56 · 8178 阅读 · 0 评论