Android编译系列篇:
1 - Python
2 - NodeJS
3 - Nginx
4 - MariaDB
编译好的版本 android (>6), (arm) v8.12.0, v10.10.0, (arm64) v14.15.4: https://github.com/dna2github/dna2oslab/releases
可用的编译脚本支持 v0.12.6 和 v14.15.4
疯魔:编译新的node
最近发现编译node的脚本都不work了,所以重新test。重整以后,让ndk先生成一套toolchain再编译node,发现node的android_config越来越方便了,可是用了以后才是更深的坑;我们就来编译最新的v13代码;以前torque子系统需要先编译一遍node的host版本再生成一些代码,然后再编译target,现在node帮我们整合了。然后我编!我去,我的centos gcc才几,你要——6.3?于是直接写了脚本自动在host上编译gcc 9.3;编译好以后,继续整。torque不能运行?改LD_LIBRARY_PATH……然后是seekdir和telldir;啥?android没有实现,google一下;好的,android代码里有人已经有hack的compat了,复制过来…兴高采烈,编译出了新鲜出炉的node,拿到手机上跑,很好,挂了… `__emutls_get_address` 是蛇马玩意?libgcc?toolchain里有,我加还不行么;加完,哦了,编译成功,运行成功。好了,后面慢慢整之前的版本…
渐渐的,node也开始完善了cross compile,最近又编译了一遍node的最新稳定版本,坑基本已经消除了……只要配置好各种cc和cxx,靠时间完成所有了。编译后的大小也从50MB降到了30MB;所以,开心得使用吧。
优化:如何使用编译的node
原来一直使用terminal运行node,然后想用node运行app的人越来越多,那就开发一个android app吧。
(https://github.com/dna2github/NodeBase)
Github的链接上,nodeBase有两个部分,platform就是apk的部分,是android app的node平台,把编译好的node文件放到指定位置,然后编译成apk就能在android上跑了。
另一个部分是modules,就是各种各样的node apps。现在暂时只放上去了文件交换的app,就是用platform运行express app,这个app可以支持指定文件的下载,还使用multer支持其他设备上传文件到android,用浏览器访问就好了。
那么再写个文件编辑器吧,这样在哪都可以coding了。
前进:nodeJS各项扩展
这几天在想怎么把SQLite 19万行的代码不用编译转成纯javascript,google一下,已经有人做好了!
https://github.com/kripken/emscripten
而且这个project将很多native的项目转化成纯jiavascript,比如unity游戏引擎,qemu虚拟机模拟器等!
这样nodejs的使用又可以得心应手很多。继续将javascript部署在手机上当server吧!
J.Y.Liu
2016.11.20
优化:NodeJS和机器学习
Wow! TensorflowJS 来啦!把你的Android变成移动智能平台吧!可是最近发现TensorflowJS在手机上运行不正常(手机访问 https://storage.googleapis.com/tfjs-examples/mobilenet/dist/index.html 分类结果和Desktop版的Chrome相差太多),于是转mxnet.js。我们一起让Android变成机器学习的平台吧。mxnet.js是LLVM的IR直接转过来的,所以运行的时候速度很慢,但是至少正确输出,我是800块的白菜价Android,处理一张图片要30s左右(squeezenet-model.json)。
https://github.com/dna2github/NodeBase/tree/master/modules/mxnet
只要把图片文件放在images文件夹,然后运行mxnet的nodejs app,我们访问 http://127.0.0.1:9090/test/<图片名> 就可以分类这个图片了。比如将
https://storage.googleapis.com/tfjs-examples/mobilenet/dist/ed21e89820228ec168bfdf72fb128449.jpg
这张猫的图片下载到images/cat.jpg,然后 http://127.0.0.1:9090/test/cat.jpg 就可以输出为:
|
剩下的就是mark一下微软的模型转换工具:https://github.com/Microsoft/MMdnn 将Tensorflow的模型转化成mxnet的,然后用mxnet.js提供的json化工具打包模型参数,在手机上运行神奇的机器学习算法吧。
J.Y.Liu
2018.05.18
陪伴:node-v0.12之后
node到0.12,可以说在编译上改进了很多,尤其是加了arch的选择,可以告诉configure要在android使用node。一些烦人的问题都没有了,也不需要自己再去写代码让npm能够连上网络。node自从分家到再合并,版本号瞬间就上去了,v4和v6依旧在编译上大同小异;
到了node 7.1.0,v8已经有了不少更新;最近有人报了bug:https://github.com/nodejs/node/issues/9707
因为node的依赖v8在cross-copmile上出现了和python相似的情形:python要在host上编译pgen去生成一个code文件,v8要用host版本mkpeephole生成一个table。
my solution is:
1. compile node-v7.x on your host machine with `./configure && make | grep mkpeephole | grep table.cc`
2. copy out `cp out/Release/obj.target/v8_base/geni/bytecode-peephole-table.cc /tmp/table.cc`
3. modify out/deps/v8/src/v8_base.target.mk to skip run mkpeephole: `sed -i 's|"$(builddir)/mkpeephole"|echo|' $MEDIR/../$ME/out/deps/v8/src/v8_base.target.mk`
4. compile node-v7.x on your host machine with cross-compile environment; `mkdir -p out/Release/obj.target/v8_base/geni && cp /tmp/table.cc out/Release/obj.target/v8_base/geni/bytecode-peephole-table.cc`
J.Y.Liu
2016.11.20
继V8的mkpeephole要编译为host版然后生成一个应该是平台无关的代码文件,这样会让交叉编译break;后来V8改进了这块,移除了编译时需要mkpeephole;一时间还是在node交叉编译上还是很开心。而到了node version 10,引用的V8引擎里,使用了torque;它也是要生成一个host机器上运行的程序去生成代码,而node Makefile里却编译成target上运行的binary,扎心了。没法子,从头到尾把node的编译在host上运行一遍生成host可以运行的node,这样那些文件也被生成好了,复制出来。接着把Makefile里调用torque的那行echo掉,node version 10于是就可以正常编译了。
J.Y.Liu
2018.09.23
初遇:node-v0.10
有了python,可是感觉库不全,于是就想想,要不编译下nodejs?
虽然github上已经有人编译了,(https://github.com/InstantWebP2P/node-android)可是用的是Rhino JS engine,我想要v8的…
下面就和大家一起进入nodejs的Android编译,本文target是node-v0.10。
(编译脚本整理在github: https://github.com/dna2github/dna2oslab/tree/master/android/build 可以找到node-v0.12.6, v4.4.4, v6.5.0, v7.1.0, buildv2 上有v14.15.4)
Android 运行nodejs | NPM安装Grunt |
nodejs的关联三方库很到位,下载nodejs的source,c-ares,v8,openssl和zlib都包含了,很开心。
这里先列出注意事项:
- 第一个要说的是./configure的时候一定要加--without-snapshot,不然之后snapshot生成还是很麻烦的。我的教训是开始没有加这个参数,直接把Makefile里的snapshot部分注释掉,结果编译出来的nodejs在Android上segment fault了。
- Android的network头不全,所以编译当头棒就是nameser_compat.h,怎么办?随便找个代替吧,我直接把苹果官网的拽过来了:http://www.opensource.apple.com/source/Libc/Libc-825.40.1/include/arpa/nameser_compat.h。建个arpa文件夹一起放到cares的include里,然后可以顺利编译完c-ares。
- 下面就是libuv,里面的uv_barrier_t比较乱,一直报pthread_barrier_t找不到,看看Android libc.so和libc.a,确实pthread没有把pthread barrier一簇函数类型编进去。当时第一反应就是自己写一个,写完了发现nodejs竟然自己已经实现了,但是包裹在另一个次元(就是如果定义了__APPLE__宏才会包含)。所以这里要选择性的去掉#if,把uv_barrier_t以及相关的init, wait, destroy全部编译出来(修改deps/uv/src/unix/thread.c, deps/uv/include/uv-unix.h)。
- 后面就是uv__recvmmsg和uv__utimesat在deps/uv/src/unix/linux-syscalls.c和.h里重复定义了,把.h里的干掉就好了。
- 接着把src/node.cc里和uid与gid相关的函数全部干掉,比如getpwuid,直接返回NULL之类就好了。之前还有些小break,比如IOV_MAX直接改1024啦什么的,编译的时候一点一点改,都不是问题。
- 最后就是比较变态的获得网络interface,一开始看看,觉得直接返回ENOENT,不实现好了,结果编译出来nodejs不能用npm下载包。好吧android里又没有ifaddrs.h,怎么办呢?突然想到了busybox,里面的ifconfig是工作的,在Android上也是,就把busybox-1.21.1/networking/interface.c拿出来改改,好了npm最后也工作了。
uv_err_t uv_interface_addresses(uv_interface_address_t** addresses,
int* count) {
int numreqs = 30;
struct ifconf ifc;
struct ifreq *ifr;
int n, err = -1;
int skfd;
uv_interface_address_t *address;
ifc.ifc_buf = NULL;
skfd = socket(AF_INET, SOCK_DGRAM, 0);
if (skfd < 0) {
return uv__new_sys_error(-1);
}
for (;;) {
ifc.ifc_len = sizeof(struct ifreq) * numreqs;
ifc.ifc_buf = realloc(ifc.ifc_buf, ifc.ifc_len);
if (ioctl(skfd, 0x8912 /*SIOCGIFCONF*/, &ifc) < 0) {
goto out;
}
if (ifc.ifc_len == (int)(sizeof(struct ifreq) * numreqs)) {
/* assume it overflowed and try again */
numreqs += 10;
continue;
}
break;
}
*count = ifc.ifc_len/sizeof(struct ifreq);
*addresses = (uv_interface_address_t*)
malloc(*count * sizeof(uv_interface_address_t));
if (!(*addresses)) {
return uv__new_artificial_error(UV_ENOMEM);
}
address = *addresses;
ifr = ifc.ifc_req;
for (n = 0; n < ifc.ifc_len; n += sizeof(struct ifreq)) {
// XXX: add exception handler
ioctl(skfd, 0x8915 /*SIOCGIFADDR*/, &ifr);
address->name = strdup(ifr->ifr_name);
if (ifr->ifr_addr.sa_family == AF_INET6) {
address->address.address6 = *((struct sockaddr_in6 *)&ifr->ifr_addr);
} else {
address->address.address4 = *((struct sockaddr_in *)&ifr->ifr_addr);
}
ifr++;
address++;
}
err = 0;
out:
close(skfd);
free(ifc.ifc_buf);
if (err == 0) return uv_ok_;
return uv__new_sys_error(err);
}
欢迎交流指导,微信:
J.Y.Liu
2014.12.08